Störung behoben // Stellungnahme zum heutigen Systemausfall

Liebe DIVERA

Nutzer,

in der heutigen E-Mail informieren wir Sie über einige neue Funktionen und weisen auf die bevorstehende Abschaltung von TLS in den Versionen 1 und 1.1 hin. Dies hat uns sogar zu einem Update des Alarmgebers veranlasst.

Neue Funktion: Alarm per Anruf auslösen

Gerade für die Alarmierung von Ersthelfern oder als feste Notfall-Nummer für die Pforte oder Telefonzentrale ist der Griff zum Telefon oft einfacher, als eine App oder den Browser zu bedienen.

Über den Anruf wird der Alarm unmittelbar ausgelöst. Folgende Unterscheidungen sind möglich:

1. Eingabe des Szenarios oder der gewünschten Empfänger per Tasteneingabe
2. Spracheingabe und automatische Umwandlung per „Speech to Text“, so dass die eingesprochene Nachricht als Text über App, E-Mail, SMS und TTS übermittelt wird
3. Bereitstellung der eingesprochenen Nachricht als Audiodatei über die App.

Interesse? Kontaktiert Sie für weitere Informationen einfach die Kollegen des Vertriebs.

Neue Schnittstellen

Zur Anbindung der Integrierten Leitstellen im Freistaat Bayern hat sich die MQTT-Schnittstelle der Firma Alamos etabliert. Eine von der ILS betriebene FE2-Installation dient dabei als Bindeglied zwischen dem Einsatzleitsystem ELDIS 3 und den unterschiedlichen Alarmierungsapps und Einsatzunterstützungssystemen.

DIVERA 24/7 unterstützt die MQTT-Schnittstelle, so dass über diesen Weg nun alle mit FE2 ausgestatteten Leitstellen angebunden werden können. Dies umfasst im ersten Schritt die automatische Übermittlung von Einsatzdaten, künftig auch Fahrzeugstatus.

Die Lösung ist bereits für Kunden in den Zuständigkeitsgebieten der ILS Würzburg, Ingolstadt und Rosenheim verfügbar. Die Anbindung über MQTT ist mit allen Versionen von DIVERA 24/7 kompatibel und kann den Eingang via SMS- oder FAX-Inbound ersetzen.

Ergänzend dazu befindet sich die „katsys“-Schnittstelle zur Übernahme von Einsätzen und Status in der Entwicklung. Ebenfalls besteht für die meisten Einsatzleitsysteme auch die Option einer direkten Anbindung, z.B. über WDX3 (iSE), LvS (Vivasecur) oder eMID 2.0 (eurofunk).

Abschaltung TLSv1 und TLSv1.1

Im Laufe des zweiten Quartals 2022 ist die Nutzung von DIVERA 24/7 nur noch mit Endgeräten und Betriebssystemen möglich, welche die Verschlüsselung TLS 1.2 oder besser unterstützen.

Weitere Informationen zur Umstellung finden Sie unter Abschaltung TLSv1 und TLSv1.1 – Softwareupdate notwendig

Alarmgeber und TLS Abschaltung

Nutzer der ersten Stunden kennen vielleicht noch den Alarmgeber, um über eine lokale Installation eingehende E-Mails oder Daten des COM-Ports in Alarmierungen umzusetzen.

Zur weiteren Kompatibilität mit TLS 1.2 haben wir ein Update auf die Version 0.80 bereitgestellt.

Wir empfehlen jedoch alle Kunden, nach Möglichkeit auf unseren zentral gehosteten Alarmserver zurückzugreifen. Dieser kann inzwischen auch bestehende IMAP-Postfächer abrufen und auf eingehende E-Mail automatisch reagieren.

Highlights aus den letzten Updates

Im ersten Quartal haben wir uns auf interne Aufgaben, weitere Leitstellenanbindungen und die Korrektur von Fehlern konzentriert. Vielen Dank für das zahlreiche Feedback dazu! Hier ein kleiner Ausschnitt nützlicher Verbesserungen:

• Persönliche Push-Tests kann man jetzt auch über die Weboberfläche unter „Account“ > Tab „Anmeldungen” auslösen/li>
• Der ICS-Export von Terminen wurde angepasst, die Synchronisation mit Google-Kalendern sollte wieder gehen!
• Jetzt Dateien mit bis zu 15 MB bei gebuchtem Cloud-Modul austauschen (Update der App auf iOS 2.13.1 / Android 2.2.40 notwendig)
• POIs der Fireboard-Einsatzbibliothek verhalten sich auf den Karten im Monitor jetzt richtig, auch wenn sich der Zoom verändert

Kurz vor Release steht auch das Audit-Log: ein hilfreiches Werkzeug, das Benutzern mit Verwaltungsrechten aber auch unseren Kollegen im Support kontextbezogene Ereignisse anzeigt. Im Kontext des Alarmservers können Sie zum Beispiel sehen, aus welchem Grund die letzte E-Mail keinen Einsatz ausgelöst hat.

Einladung zur digitalen Sprechstunde

Zusammen mit Fireboard, iKAT, Status 3 IT und rescueTABLET findet am Montag, den 14. März von 18 – 20 Uhr über Zoom eine Videokonferenz mit interessierten Nutzern statt. Es geht um den offenen Austausch von Wünschen und Ideen sowie um die konkreten Einstellungen, um die Systeme miteinander zu vernetzen. Die Teilnahme ist kostenfrei.

Anmeldung unter https://docs.google.com/forms/d/e/1FAIpQLSfRMdSqMhpYxZ14HO4Sq3P_dboEGdjwouPL1Ggujs7DLso6_A/viewform

Themen aus unserem Newsletter vom 04. März 2022

nach dem wir DIVERA 24/7 um 11:28 Uhr abgeschaltet hatten, laufen die Kernfunktionen seit 15:37 Uhr mit einem Backup von 03:00 Uhr wieder störungsfrei.

Was ist passiert?

Um dem steten Nutzerwachstum gerecht zu werden, haben wir heute gegen 08:48 Uhr einen weiteren Server in unser Verbundsystem eingebaut. Dabei kam es ab dem Moment, zuerst vereinzelt, gegen 11:00 Uhr dann verstärkt zu Ausfallerscheinungen.

DIVERA 24/7 ermöglicht das Erstellen von standortübergreifenden Meldungen, wie Alarmierungen, Terminen und Mitteilungen. Durch das Störverhalten des neuen Servers kam es dazu, dass die Primärschlüssel neuer Datensätze mehrfach vergeben wurden und Daten verschiedener Quellen zusammengeführt, oder falsche Daten zurückgegeben wurden.

Was bedeutet das konkret?

Das bedeutet: eine Meldung der Einheit A konnte mit der von Einheit B vermischt werden, oder aber Einheit B wurde in den Meldung der Einheit A mit aufgenommen.

Einheit B hat damit Einsatzinformationen (Stichwort, Meldungstext, Adressen, …) gesehen, die sie nicht hätte sehen dürfen.

Falls Einheit A oder B die PRO nutzt und dort der Empfänger die neue Berechtigung für standortübergreifende Informationen besitzt, konnten die adressierten Einsatzkräfte und Rückmeldungen (Vorname, Nachname) der anderen Einheit gesehen werden.

Nutzer der Einheit B sind irrtümlicherweise von einem Einsatz ausgegangen.

Einheit B und A konnten den Informationen in DIVERA 24/7 während der Ausfallzeit nicht vertrauen.

Störungsbehebung

Mitbekommen haben wir die erste Störungsmeldung gegen 11:12 Uhr. Als uns bekannt wurde, dass Einsatzinformationen in mehr als einem Fall nicht bestimmungsgemäß verbreitet wurden, haben wir uns entschieden, das gesamte System sofort vom Netz zu nehmen, um insbesondere das Verbreiten von besonders schützenswerten Daten zu unterbinden. Das System war deswegen von 11:28 Uhr bis zum erfolgreichen Einspielen des Backups um 15:37 Uhr offline. Das bedeutet natürlich, dass es euch währenddessen nicht zur Verfügung stand.

Das Backup bildet den Stand von Freitag, 09.09.2022 um 03:00 Uhr ab. Entsprechend sind alle Änderungen und Daten zwischen 03:00 Uhr und 11:28 Uhr nicht mehr im System.

Aufgrund der möglichen Änderungen vertrauen wir den Daten ab 08:48 Uhr nicht mehr. Um Ihnen das System möglichst schnell zur Verfügung zu stellen, haben wir auf ein manuelles Integrieren der Daten zwischen 03:00 Uhr und 08:48 Uhr verzichtet. Theoretisch haben wir die Daten zwischen 03:00 Uhr und dem Abschalten des Systems um 11:28 Uhr noch, müssten aber jeden einzelnen Datensatz auf Konsistenz prüfen. Sollten Sie in kritischen Fällen Zugriff auf einzelne Datensätze benötigen, können wir gemeinsam nach einer Lösung suchen.

Nachdem uns der Ausfall gegen 11:15 Uhr ersichtlich wurde, haben wir unser Notfallkonzept aktiviert und unser IT-Team, inkl. den Kollegen aus der Freizeit, ist an die Ursachenforschung gegangen. Zu Ihrer Information wurde die Statuspage https://www.divera247-status.de ab 11:28 Uhr laufend aktualisiert.

Unser Konzept sieht auch vor, die Entwickler frühestens nach 30 Minuten nach Ursachen und der Ausfallerwartung zu fragen, da sie sich bis dahin voll auf ihre Arbeit konzentrieren sollen und viele IT-Probleme in dem Moment, wo sie gefunden wurden auch direkt behoben werden können, bis dass man sie nicht gefunden hat, kann man aber auch schwierig abschätzen, wie lange es dauern wird.

Nachdem die Ursache gefunden war, mussten wir verhindern, dass die manipulierten Daten im System bestehen bleiben. Wir mussten schlussendlich ein vollständiges, zeitintensives Backup einzuspielen. Zu dem Zeitpunkt sind wir davon ausgegangen, dass das Verhalten durch ein Update um 10:50 Uhr ausgelöst wurde. Nach dem Einspielen des Backups von 10:30 Uhr, mussten wir den Beginn auf die Änderung auf 08:48 Uhr korrigieren, weswegen alle Arbeiten zur Wiederherstellung des Systems von vorne beginnen mussten, diesmal mit dem Backup von 03:00 Uhr morgens.

Nachbearbeitung und Risikoeinschätzung

Neben der technischen Störungsbearbeitung und der Kunden- und Krisenkommunikation, beginnt auch die Bearbeitung des Vorfalls aus Datenschutzperspektive. Der Teil des IT-Sicherheitsteams der nicht aktiv bei der Störungsbehebung helfen kann, hat gemeinsam mit unserem externen Datenschutzberater entsprechend den Vorgaben der für uns zuständigen Landesbeauftragten für Datenschutz und Informationsfreiheit (https://www.ldi.nrw.de/kontakt/meldeformular-fuer-datenpannen) insb. die betroffenen Einsätze so gut es ging aus dem stillgelegten System extrahiert und einzeln eine Risikoanalyse durchgeführt, inwiefern hier eine Verletzung des Schutzes personenbezogener Daten (Art. 33 und 34 DS-GVO) vorlag. Schlussendlich sind wir aktuell bei 3 Alarmierungen, die maximal 21 Endnutzern zugeschickt wurden, aufgrund der im Meldungstext enthaltenen Patienteninformationen (Name, Anschrift, ggf. auch Meldebild) zu dem Ergebnis „Risiko“ gekommen, in allen anderen Fällen gehen wir von einem geringen Risiko aus. Die Daten wurden in Summe nur an die falschen Einsatzkräfte übermittelt, die diese hoffentlich genauso vertraulich behandelt haben wie jeden anderen Einsatz auch. Leider können wir uns nicht 100% sicher sein, jeden betroffenen Datensatz gefunden und gesichtet zu haben. Sollten Sie bei den erhaltenen Daten zum Entschluss „hohes Risiko“ kommen, kontaktieren Sie uns bitte, damit wir die Betroffenen darüber informieren können. Bitte verzichten Sie dabei auf das Übertragen dieser personenbezogenen Daten über unverschlüsselte Wege!

Ich hoffe, dass alle offenen Fragen beantwortet werden konnten. Sollten sich bei der detaillierten Nachbearbeitung etwas Neues ergeben, werden wir dies selbstverständlich nachreichen.

Mein Dank geht abschließend an unsere Mitarbeiter, die natürlich auch am Wochenende weiterhin das System schärfstens kontrollieren, sowie an alle Kunden, die uns unterstützt haben und Geduld bewiesen haben – wenn wir uns begegnen, geht die erste Cola auf mich.

Sébastien Thommes
Mitgründer und Geschäftsführer