Jahrelang haben Tabletop-Übungen getestet, ob Menschen unter Druck das Richtige tun. Jetzt, da KI während laufender Vorfälle Playbooks entwirft, Alarme triagiert und Reaktionen vorschlägt, muss sie ebenfalls Teil des Tests sein.
Tabletop-Übungen beantworten eine Frage: Wenn etwas ausfällt, werden die Verantwortlichen für die Behebung tatsächlich das Richtige tun, in der richtigen Reihenfolge und schnell genug? Jahrelang hing die Antwort fast ausschließlich von Menschen ab: von ihrer Ausbildung, ihren Runbooks und ihrem Urteilsvermögen unter Druck. Die Tools um uns herum galten als statisch. Wir haben immer die Menschen getestet, weil die Menschen die Variable waren.
Diese Annahme gilt nicht mehr.
Bei Webflow haben wir ein Jahr damit verbracht, KI in die Teile der Incident Response einzubauen, die früher rein menschlich waren: Alarme triagieren, das richtige Playbook heranziehen, Reaktionen vorschlagen und sogar die PIA (Post-Incident-Analyse) und die zugehörigen Folgemaßnahmen entwerfen. Wir haben bereits darüber geschrieben, wie dies unser Security-Team vervielfacht statt ersetzt hat, doch diese Verschiebung hat eine Konsequenz, mit der sich noch nicht viele Teams auseinandersetzen. Wenn KI jetzt während eines Vorfalls echte Arbeit leistet, ist KI jetzt Teil dessen, was eine Tabletop-Übung testen muss. Nicht nur, ob Ihre Einsatzkräfte die Runbooks kennen, sondern ob das System, das ihnen das Runbook liefern soll, dies tatsächlich tut, und zwar korrekt, unter demselben Druck, der früher nur für Menschen galt.
Das ist nicht nur ein Problem von Security-Teams. Jedes Team, das stillschweigend zugelassen hat, dass ein KI-System Teil seiner Reaktion wird (Support, der Kundeneskalationen weiterleitet, SRE, das Ausfälle triagiert, IT, die Zugriffsanfragen automatisch löst), hat dieselbe ungetestete Abhängigkeit in seinem Prozess. Wenn sich Ihre Tabletop-Formate nicht verändert haben, seit Sie KI in Ihre Systeme integriert haben, testen Sie ein Team, das es nicht mehr gibt, und bleiben blind für Lücken.
Tabletops haben früher Menschen getestet. Jetzt müssen sie ein System testen.
Das klassische Tabletop-Design ging von einem festen Satz an Tools und einem variablen Satz an Menschen aus. Das Szenario ändert sich, doch die Injects sind um Entscheidungspunkte herum gebaut: Wer wird alarmiert, wer hat die Befugnis zu entscheiden und wird das Runbook unter Stress befolgt. Das Tooling ist Kulisse, es fällt nicht aus und führt nicht in die Irre, und es braucht keinen eigenen Posten im Nachbereitungsbericht.
Das stimmt nicht mehr, sobald KI zwischen Ihrem Team und den Informationen steht, auf deren Basis es handelt. Wenn Ihr Triage-System Alarme zusammenfasst, sieht ein KI-Ausfall während eines laufenden Vorfalls nicht aus wie ein ausfallender Server. Er sieht aus wie eine Zusammenfassung, die mit voller Überzeugung falsch ist, oder wie ein Dokumentenabruf, der ein veraltetes Playbook zieht, weil es bei Schlüsselwörtern besser passt als das aktuelle, oder wie eine vorgeschlagene Reaktionsmaßnahme, die vernünftig klingt und unbemerkt unsicher ist. Diese Fehler sind leise. Sie lösen keine Fehlermeldung aus. Sie machen Ihre Einsatzkräfte lediglich langsamer oder möglicherweise falsch, ohne dass es jemand bemerkt, bis es später auffällt. Eine Tabletop-Übung, die nie einen solchen Fehler einspielt, testet nur die Hälfte des Systems, das bei einem echten Vorfall tatsächlich läuft.
Was jetzt tatsächlich in die Übung gehört
Einige Fehlerkategorien sind so neu, dass die meisten bestehenden Tabletop-Bibliotheken noch keine Injects dafür haben. Es lohnt sich, sie einzubauen:
KI gibt mit voller Überzeugung eine falsche oder unvollständige Antwort. Das ist der wichtigste Punkt und der am leichtesten zu überspringende, weil es unangenehm ist, gegen die eigenen Tools zu entwerfen. Spielen Sie ein Szenario durch, in dem der KI-gestützte Triage-Schritt die Ursache halluziniert oder die Playbook-Suche ein Dokument liefert, das nah dran, aber veraltet ist. Der Test lautet nicht, ob die KI recht hat. Irgendwann wird sie halluzinieren; das ist gegeben. Der Test lautet, ob Ihre Einsatzkräfte es bemerken und ob sie die Gewohnheit haben zu prüfen statt zu vertrauen.
Verfügbarkeit des KI-Systems. Das ist die schärfste Version des Problems speziell für Security-Teams: Was passiert, wenn das, worauf Sie sich normalerweise bei der Untersuchung einer Kompromittierung stützen, selbst kompromittiert ist oder offline, weil der Vorfall es mit heruntergerissen hat? Die meisten Teams haben einen Notfallplan für „das SIEM ist ausgefallen“. Weniger haben „das KI-System, mit dem wir triagieren, ist nicht verfügbar, und die Hälfte des Teams hat noch nie ohne es triagiert“ geübt. Diese Lücke zeigt sich erst, wenn man nach ihr sucht.
Leitplanken werden unter echtem Druck getestet, nicht in einer Demo. Leitplanken, die in einem ruhigen Design-Review halten, werden oft stillschweigend umgangen, wenn jemand drei Stunden in einem Vorfall steckt und nur will, dass die KI die Maßnahme ausführt, statt einen Vorschlag zu entwerfen, den ein Mensch freigibt. Ein guter Tabletop-Inject versetzt eine Einsatzkraft genau in diese Lage und beobachtet, was sie tut, nicht was die Richtlinie vorgibt.
Niemand erinnert sich, wie es früher ging. Die Kehrseite davon, dass KI Triage und Dokumentenabruf gut erledigt, ist, dass das Muskelgedächtnis für die manuelle Durchführung verkümmert. Wenn Ihr Team ein Jahr lang erlebt hat, wie KI zuverlässig in Sekunden das richtige Playbook liefert, haben die meisten schon lange nicht mehr persönlich unter Zeitdruck Ihre Dokumentation durchsucht. Testen Sie diese Fähigkeit gezielt und mit Absicht, bevor ein Vorfall Sie zwingt herauszufinden, ob sie verloren ist.
Der Übergabepunkt ist unklar. KI-gestützte Reaktion funktioniert, weil es eine Grenze gibt: KI bringt Informationen hervor und schlägt vor, ein Mensch im Loop entscheidet und handelt. Tabletops sind ein guter Ort, um herauszufinden, ob diese Grenze von den Menschen, die damit arbeiten, tatsächlich verstanden wird oder ob sie nur irgendwo aufgeschrieben ist. Bauen Sie einen Inject, in dem der „offensichtlich richtige“ KI-Vorschlag subtil falsch ist, und sehen Sie, wer es bemerkt und wer nicht.
Was das für die Durchführung der Übung bedeutet
Nichts davon erfordert, Ihr bestehendes Tabletop-Programm zu verwerfen. Es erfordert, eine Ebene hinzuzufügen. Ein paar praktische Änderungen:
Schreiben Sie Injects, die gezielt auf die KI-Ebene zielen, nicht nur auf die menschliche Ebene. Wenn Ihr Szenariodokument immer nur beschreibt, was mit Systemen und Menschen passiert, und nie, was mit dem KI-Tooling dazwischen passiert, fehlt Ihnen eine Fehlerkategorie, die inzwischen Teil Ihrer realen Angriffsfläche für die Qualität der Reaktion ist.
Beziehen Sie die Menschen, die das KI-Tooling bauen und pflegen, in die Übung ein, nicht nur die Einsatzkräfte, die es nutzen. Sie sind oft die Einzigen, die die Fehlermodi, die einen Inject lohnen, wirklich verstehen, und die Übung ist ein guter Anlass für sie, ebenfalls darüber nachzudenken.
Werten Sie Ihr vertrauenswürdiges KI-Tooling aus, nicht nur die Prozesseinhaltung. Die klassische Frage der Nachbereitung lautet „Hat das Team das Runbook befolgt?“ Die neue Frage daneben lautet „Hat das Team dem KI-System im richtigen Maß vertraut?“, nicht zu wenig, was die Investition verschwendet, und nicht zu viel, womit aus einer falschen Antwort ein eigener Vorfall wird.
Betrachten Sie „wir haben das einmal getestet“ als unzureichend. KI-Systeme verändern sich: Modelle werden aktualisiert, Retrieval-Quellen kommen hinzu, Leitplanken werden angepasst, auf eine Weise, die Ihre statische Dokumentation nicht abbildet. Eine Tabletop-Übung, die Ihren KI-gestützten Reaktionsprozess vor einem Jahr getestet hat, testet ein System, das es nicht mehr gibt.
Der unbequeme Teil
Die Teams, die diesen Schritt am ehesten überspringen, sind diejenigen mit dem größten Erfolg bei KI-gestützter Reaktion, weil es funktioniert und sich das Testen anfühlt, als suche man nach Problemen, die nicht da sind. Das ist genau umgekehrt. Je tragender das KI-System wird, desto teurer ist es, seine Fehlermodi zum ersten Mal bei einem echten Vorfall statt bei einem geübten zu entdecken. Wir haben KI nicht in unseren Reaktionsprozess eingebaut, um ihn fragil zu machen. Tabletop-Übungen sind der Weg, sicherzustellen, dass wir das nicht getan haben.
Wenn sich Ihr Team bei Triage, Retrieval oder Reaktion auf KI stützt, in der Security oder anderswo, lautet die Frage, die es sich in diesem Quartal zu stellen lohnt, nicht, ob Ihre Leute für den nächsten Vorfall bereit sind. Sondern ob Sie tatsächlich das System getestet haben, auf das sie sich dabei stützen werden.
Testen Sie das System, bevor der Vorfall es für Sie tut.
