Dieser zusammenfassende Bericht basiert auf veröffentlichten Sicherheitshinweisen, Nachberichten und Gesprächen mit Betreibern von Systemen dieser Größenordnung. Es wird kein einzelner Versorger beschrieben. Der Erzähler betreibt ein Wasserversorgungssystem, das etwa 25.000 Menschen versorgt. Er beschäftigt elf Mitarbeiter, nutzt einen zwei Stunden entfernten IT-Dienstleister, dessen SCADA-System von einem Systemintegrator betreut wird, und hat keine Nachtschicht.

Der erste Anruf kam an einem Dienstagmorgen um 9:40 Uhr. Unser Integrator war gerade im Historian damit beschäftigt, eine Routineaufgabe zu erledigen, als er ausgehenden Datenverkehr aus einem Segment bemerkte, das eigentlich mit nichts kommunizieren dürfte. Das war nicht ihr Datenverkehr. Es lag auch nicht in ihrem Wartungsfenster. Sie konnten sich das nicht erklären und wollten die Protokolle auswerten und mich zurückrufen.

On-Demand-Webinar: Was CI Fortify über Kommunikation verschweigt

Sechs Minuten dauerte dieser Anruf. Die nächsten zwanzig Minuten verbrachte ich damit, banale Erklärungen zusammenzustellen, denn so macht man das nun einmal. Das Firmware-Update vom letzten Monat. Die Mobilfunkverbindung des neuen Drucksensors. Ein Laptop eines Lieferanten, den im April jemand vergessen hatte, aus dem Netzwerk zu entfernen.

Um 10:35 Uhr leitete unser Landesverband eine Benachrichtigung weiter. Systeme, auf denen ein bestimmtes, mit dem Internet verbundenes Fernzugriffsprodukt läuft, tauchten auf einer Zielliste auf, und hier waren die entsprechenden Hinweise. Wir nutzen dieses Produkt. Wir haben es 2021 angeschafft, damit der Integrator nachts Fehler beheben kann, ohne drei Stunden hin und zurück fahren zu müssen.

Beides bewies nichts. Zusammen bedeuteten sie, dass ich den Tag nicht wie gewohnt abwickeln konnte, aber ich konnte auch keinen Vorfall melden. Unser Notfallplan sieht eine Schwelle für einen bestätigten Einbruch vor. Er enthält keine Regelung für zwei Vorfälle, die beide möglicherweise unbedeutend sind.

Die Anrufe, die man tätigen muss, bevor man von einem Vorfall sprechen darf

Zunächst einmal der Integrator. Was siehst du eigentlich? Was kannst du ausschließen? Wann kann jemand vor Ort sein? Am Donnerstag, sagten sie, es sei denn, wir eskalieren den Fall.

Dann haben wir einen IT-Dienstleister beauftragt. Unser MSP ist gut. Er ist allerdings auch zwei Stunden entfernt. Der Vertrag gilt nur während der Geschäftszeiten, und der Techniker, der sich mit unserer Infrastruktur auskennt, war gerade bei einem anderen Kunden im Einsatz. Es wurde ein Ticket eröffnet. Nun befindet sich der Satz „möglicher unbefugter Zugriff auf das Steuerungsnetzwerk“ also in einem Ticket-System, das ich nicht verwalte, wobei die Benachrichtigungen an E-Mail-Adressen in meiner Domain weitergeleitet werden.

Dann der diensthabende Bediener. Ändern Sie nichts, notieren Sie alles, was sich bewegt, und rufen Sie mich an, wenn sich ein Sollwert von selbst verschiebt.

Dann wandte sich die Stadtverwalterin noch vor dem Mittagessen an mich, denn sollte diese Angelegenheit an die Öffentlichkeit gelangen, durfte sie davon nicht erst durch einen Reporter erfahren. Sie fragte, ob das Wasser unbedenklich sei. Ich versicherte ihr, dass dies der Fall sei, und erklärte, dass ich dies anhand der Rückstände wüsste, die wir manuell ablasen, und nicht über das System, das diese Werte normalerweise meldet.

Irgendwann fing ich an, die Situation für den Integrator zu beschreiben, und hörte dann auf, während der Cursor noch blinkte. Jeder Satz, den ich schreiben wollte, beschrieb eine Schwachstelle in meiner Anlage, und das Konto, das ich benutzte, war im selben Verzeichnis authentifiziert wie der Rechner, um den wir uns Sorgen machten. Unser Tenant wird gemeinsam mit der Stadt genutzt. Ich hatte keinen Grund anzunehmen, dass jemand mitlas, aber auch keine Möglichkeit zu beweisen, dass niemand es tat. Also rief ich stattdessen an und führte das gleiche Gespräch noch vier weitere Male am Telefon, und um 14 Uhr hatte ich ein klares Bild im Kopf, ohne auch nur eine einzige Zeile davon irgendwo niedergeschrieben zu haben.

Die Entscheidung und was sie tatsächlich kostet

Was für Donnerstag geplant war, wurde am Dienstagnachmittag beschlossen: Den Fernzugriff unterbrechen, das Segment trennen und manuell weiterarbeiten, bis der Integrator das System anhand einer bekanntermaßen einwandfreien Basis neu aufbauen kann.

Auf dem Papier sind das drei Arbeitsschritte. In der Praxis sieht es so aus: Die Chemikalien werden von Hand dosiert, die Restmengen werden alle zwei Stunden von einer dafür zertifizierten Person protokolliert, und ich habe drei Mitarbeiter, die dafür qualifiziert sind. Einer von ihnen war bei der Abschlussfeier seiner Tochter in einem anderen Bundesstaat. Da es keine Nachtschicht gibt, muss jemand den Dienst von 23 Uhr bis 7 Uhr übernehmen, was bedeutet, dass man Leute zu Hause anrufen muss, dann deren Ehepartner, und schließlich zu einem Haus fahren muss, weil das Telefon ausgeschaltet war.

Die App, die ich normalerweise zur Sortierung der Abdeckung verwende, läuft über das Netzwerk, das ich gerade abgeschaltet hatte. Die ausgedruckte Anrufliste an der Wand neben dem SCADA-Arbeitsplatz war vierzehn Monate alt, und zwei der Nummern waren nicht mehr erreichbar.

Manuelle Vorgänge sind eher eine Nachverfolgungskette als ein Verfahren. Wer auch immer um 11 Uhr Dienst antritt, muss den letzten Messwert kennen, wissen, was wir geändert haben und wie der Normalzustand vor Dienstag aussah. Das ist ein Gespräch, und es fand in den folgenden vier Tagen sechs Mal statt, jedes Mal über das private Handy eines der Beteiligten.

Sich nach externen Möglichkeiten umsehen, bevor man überhaupt etwas weiß

Die zuständige Behörde musste von mir hören, und die Meldefrist wartet nicht darauf, bis man sich ein vollständiges technisches Bild verschafft hat. Mein erster Bericht bestand größtenteils aus einer Liste von Punkten, die ich nicht bestätigen konnte: ungeklärter ausgehender Datenverkehr, eine Exposition, die mit einer Benachrichtigung übereinstimmte, ein getrennter Segmentzugang, manuelle Betriebsabläufe, keine Anzeichen für eine Prozessmanipulation – und auch keine Anzeichen, die dies ausschließen würden.

Der Staat fragte, wer die forensische Untersuchung durchführe. Ich sagte, der Integrator und unser MSP, und mir war beim Sprechen genau bewusst, wie das klang.

Die FBI-Außenstelle agierte professionell und wollte die Beweismittel, doch diese befanden sich auf dem betreffenden Netzwerk. Außerdem habe ich gelernt, dass die Frage „Sollen wir die Öffentlichkeit informieren?“ keine rein technische Frage ist und dass das Gespräch wesentlich besser verläuft, wenn ein Stadtanwalt mit am Telefon ist.

Zurückkommen

Neun Tage, von Anfang bis Ende. Der Integrator hat die betroffenen Maschinen anhand von bekanntermaßen fehlerfreien Images neu aufgesetzt, am Sonntagnachmittag konnten wir den manuellen Betrieb beenden, und die letzte Entscheidung war letztendlich genau die, für die niemand eine Anleitung schreibt. Irgendwann musste ich einfach wieder einem Sensor vertrauen.

Es gibt kein Zertifikat, auf dem „einwandfrei“ steht. Was man bekommt, ist eine Gruppe von Leuten, die einem mitteilen, was sie überprüft haben, und die eigene Einschätzung, ob das ausreichend war. Ich habe an einem Sonntag meine Zustimmung gegeben, weil die Messwerte seit neun Tagen stabil waren und mir zwei Personen, deren Arbeit ich kenne, versichert hatten, dass der Umbau einwandfrei sei. Das ist die ehrliche Version.

Der Teil, der danach kommt und vor dem dich niemand warnt

Dann kam der Papierkram, und der hatte es in sich. Der Staat wollte einen Zeitplan. Der Vorstand wollte wissen, wann der Stadtverwalter informiert worden war und wer den manuellen Betrieb genehmigt hatte. Unser Versicherer wollte Daten und Zeitangaben. Was ich hatte, war ein Anrufprotokoll auf meinem privaten Handy, ein Notizblock und ein Gruppen-SMS-Verlauf aus der zweiten Nacht, den ich lieber niemandem aushändigen wollte.

Erinnerungen sind keine Aufzeichnungen. Die Kanäle, auf denen Sie improvisieren, sind genau jene, von denen erwartet wird, dass sie sechs Wochen später Beweise liefern.

Jede der in den Leitlinien der Branche aufgeführten Maßnahmen zur Risikominderung stand in dieser Woche auf dem Plan. Aus meiner Sicht wirkte keine davon wie eine echte Risikominderung. Es handelte sich vielmehr um Anrufe, die ich bei Leuten tätigen musste, die vielleicht gar nicht rangehen würden – über Kommunikationskanäle, bei denen ich mir nicht sicher war –, noch bevor ich genug wusste, um das Wort „Vorfall“ laut auszusprechen. Die Leitlinien sind für den Moment nach der Meldung des Vorfalls geschrieben. Das Schwierige waren die elf Stunden davor.

Weiterführende Literatur:

• Das „Water Watch Center“ macht Lücken bei der Cyber-Reaktionsfähigkeit der Wasserversorger deutlich

• Warum die Sicherheitsrichtlinien für CI bei kleinen Versorgungsunternehmen immer wieder versagen

• Von einer Kompromittierung ausgehen – und was dann? Über den Slogan hinaus zu operativen Anforderungen

• Was CI Fortify von Versorgungsunternehmen verlangt – und die Funktion, die es nie erwähnt

• Wenn die Handys ausfallen: Die Koordinationslücke, mit der niemand rechnet