Störung behoben // Stellungnahme zum heutigen SystemausfallLiebe DIVERA Nutzer, nach dem wir DIVERA 24/7 um 11:28 Uhr abgeschaltet hatten, laufen die Kernfunktionen seit 15:37 Uhr mit einem Backup von 03:00 Uhr wieder störungsfrei. Was ist passiert? Um dem steten Nutzerwachstum gerecht zu werden, haben wir heute gegen 08:48 Uhr einen weiteren Server in unser Verbundsystem eingebaut. Dabei kam es ab dem Moment, zuerst vereinzelt, gegen 11:00 Uhr dann verstärkt zu Ausfallerscheinungen. DIVERA 24/7 ermöglicht das Erstellen von standortübergreifenden Meldungen, wie Alarmierungen, Terminen und Mitteilungen. Durch das Störverhalten des neuen Servers kam es dazu, dass die Primärschlüssel neuer Datensätze mehrfach vergeben wurden und Daten verschiedener Quellen zusammengeführt, oder falsche Daten zurückgegeben wurden. Was bedeutet das konkret? Das bedeutet: eine Meldung der Einheit A konnte mit der von Einheit B vermischt werden, oder aber Einheit B wurde in den Meldung der Einheit A mit aufgenommen. Einheit B hat damit Einsatzinformationen (Stichwort, Meldungstext, Adressen, …) gesehen, die sie nicht hätte sehen dürfen. Falls Einheit A oder B die PRO nutzt und dort der Empfänger die neue Berechtigung für standortübergreifende Informationen besitzt, konnten die adressierten Einsatzkräfte und Rückmeldungen (Vorname, Nachname) der anderen Einheit gesehen werden. Nutzer der Einheit B sind irrtümlicherweise von einem Einsatz ausgegangen. Einheit B und A konnten den Informationen in DIVERA 24/7 während der Ausfallzeit nicht vertrauen. Störungsbehebung Mitbekommen haben wir die erste Störungsmeldung gegen 11:12 Uhr. Als uns bekannt wurde, dass Einsatzinformationen in mehr als einem Fall nicht bestimmungsgemäß verbreitet wurden, haben wir uns entschieden, das gesamte System sofort vom Netz zu nehmen, um insbesondere das Verbreiten von besonders schützenswerten Daten zu unterbinden. Das System war deswegen von 11:28 Uhr bis zum erfolgreichen Einspielen des Backups um 15:37 Uhr offline. Das bedeutet natürlich, dass es euch währenddessen nicht zur Verfügung stand. Das Backup bildet den Stand von Freitag, 09.09.2022 um 03:00 Uhr ab. Entsprechend sind alle Änderungen und Daten zwischen 03:00 Uhr und 11:28 Uhr nicht mehr im System. Aufgrund der möglichen Änderungen vertrauen wir den Daten ab 08:48 Uhr nicht mehr. Um Ihnen das System möglichst schnell zur Verfügung zu stellen, haben wir auf ein manuelles Integrieren der Daten zwischen 03:00 Uhr und 08:48 Uhr verzichtet. Theoretisch haben wir die Daten zwischen 03:00 Uhr und dem Abschalten des Systems um 11:28 Uhr noch, müssten aber jeden einzelnen Datensatz auf Konsistenz prüfen. Sollten Sie in kritischen Fällen Zugriff auf einzelne Datensätze benötigen, können wir gemeinsam nach einer Lösung suchen. Nachdem uns der Ausfall gegen 11:15 Uhr ersichtlich wurde, haben wir unser Notfallkonzept aktiviert und unser IT-Team, inkl. den Kollegen aus der Freizeit, ist an die Ursachenforschung gegangen. Zu Ihrer Information wurde die Statuspage https://www.divera247-status.de ab 11:28 Uhr laufend aktualisiert. Unser Konzept sieht auch vor, die Entwickler frühestens nach 30 Minuten nach Ursachen und der Ausfallerwartung zu fragen, da sie sich bis dahin voll auf ihre Arbeit konzentrieren sollen und viele IT-Probleme in dem Moment, wo sie gefunden wurden auch direkt behoben werden können, bis dass man sie nicht gefunden hat, kann man aber auch schwierig abschätzen, wie lange es dauern wird. Nachdem die Ursache gefunden war, mussten wir verhindern, dass die manipulierten Daten im System bestehen bleiben. Wir mussten schlussendlich ein vollständiges, zeitintensives Backup einzuspielen. Zu dem Zeitpunkt sind wir davon ausgegangen, dass das Verhalten durch ein Update um 10:50 Uhr ausgelöst wurde. Nach dem Einspielen des Backups von 10:30 Uhr, mussten wir den Beginn auf die Änderung auf 08:48 Uhr korrigieren, weswegen alle Arbeiten zur Wiederherstellung des Systems von vorne beginnen mussten, diesmal mit dem Backup von 03:00 Uhr morgens. Nachbearbeitung und Risikoeinschätzung Neben der technischen Störungsbearbeitung und der Kunden- und Krisenkommunikation, beginnt auch die Bearbeitung des Vorfalls aus Datenschutzperspektive. Der Teil des IT-Sicherheitsteams der nicht aktiv bei der Störungsbehebung helfen kann, hat gemeinsam mit unserem externen Datenschutzberater entsprechend den Vorgaben der für uns zuständigen Landesbeauftragten für Datenschutz und Informationsfreiheit (https://www.ldi.nrw.de/kontakt/meldeformular-fuer-datenpannen) insb. die betroffenen Einsätze so gut es ging aus dem stillgelegten System extrahiert und einzeln eine Risikoanalyse durchgeführt, inwiefern hier eine Verletzung des Schutzes personenbezogener Daten (Art. 33 und 34 DS-GVO) vorlag. Schlussendlich sind wir aktuell bei 3 Alarmierungen, die maximal 21 Endnutzern zugeschickt wurden, aufgrund der im Meldungstext enthaltenen Patienteninformationen (Name, Anschrift, ggf. auch Meldebild) zu dem Ergebnis „Risiko“ gekommen, in allen anderen Fällen gehen wir von einem geringen Risiko aus. Die Daten wurden in Summe nur an die falschen Einsatzkräfte übermittelt, die diese hoffentlich genauso vertraulich behandelt haben wie jeden anderen Einsatz auch. Leider können wir uns nicht 100% sicher sein, jeden betroffenen Datensatz gefunden und gesichtet zu haben. Sollten Sie bei den erhaltenen Daten zum Entschluss „hohes Risiko“ kommen, kontaktieren Sie uns bitte, damit wir die Betroffenen darüber informieren können. Bitte verzichten Sie dabei auf das Übertragen dieser personenbezogenen Daten über unverschlüsselte Wege! Ich hoffe, dass alle offenen Fragen beantwortet werden konnten. Sollten sich bei der detaillierten Nachbearbeitung etwas Neues ergeben, werden wir dies selbstverständlich nachreichen. Mein Dank geht abschließend an unsere Mitarbeiter, die natürlich auch am Wochenende weiterhin das System schärfstens kontrollieren, sowie an alle Kunden, die uns unterstützt haben und Geduld bewiesen haben – wenn wir uns begegnen, geht die erste Cola auf mich. Sébastien Thommes Mitgründer und Geschäftsführer |