Kurz gesagt: Angreifer nutzen KI, um schneller und in größerem Umfang anzugreifen. Das BSI warnt 2026, dass KI Aufwand, Zeitbedarf und Einstiegshürden für offensive Cyberfähigkeiten deutlich senkt. Verteidiger können KI im Security Operations Center (SOC) nutzen, um Alarme schneller zu sichten und Vorfälle schneller einzuordnen. Die Entscheidung über Eingriffe bleibt beim Menschen. Ein reiner SOC-Assistent ist nach dem EU AI Act in der Regel kein Hochrisiko-System, braucht aber klare Regeln für Daten, Freigaben und Nachvollziehbarkeit.

Warum das Thema jetzt drängt

Ein SOC ist die Stelle, die Sicherheitsereignisse einer Organisation rund um die Uhr überwacht, bewertet und darauf reagiert. Sein Engpass ist fast immer menschliche Zeit: Jeder Alarm muss gesichtet werden, viele davon sind Fehlalarme.

Die Angreiferseite wird schneller. In seiner Cybersicherheitswarnung „Auswirkungen auf die Cybersicherheit von Organisationen durch die Entwicklung im Bereich Künstlicher Intelligenz“ (2026) schreibt das BSI: „KI senkt Aufwand, Zeitbedarf und Einstiegshürden für offensive Cyberfähigkeiten maßgeblich.“ Verteidiger dagegen blieben „an reale Betriebsgrenzen gebunden“, etwa Testaufwand, Freigabeprozesse und Wartungsfenster für Patches. Die ENISA kommt in ihrer Threat Landscape 2025 zu einem ähnlichen Befund: KI-Systeme ermöglichen Angreifern eine neue Größenordnung an Skalierung.

Gleichzeitig verlangt das Recht schnelle Reaktion. Das BSI-Gesetz fordert Maßnahmen zur Bewältigung von Sicherheitsvorfällen (§ 30 BSIG), Betreiber kritischer Anlagen müssen Systeme zur Angriffserkennung einsetzen (§ 31 Abs. 2 BSIG), und erhebliche Vorfälle sind binnen 24 Stunden zu melden (§ 32 BSIG). Artikel 21 Abs. 2 Buchst. b der NIS-2-Richtlinie setzt diesen Maßstab EU-weit.

Die Begriffe in Klartext

  • SIEM (Security Information and Event Management): sammelt Protokolldaten aus der gesamten IT, verknüpft sie und schlägt bei verdächtigen Mustern Alarm.
  • SOAR (Security Orchestration, Automation and Response): automatisiert Abläufe nach einem Alarm, etwa Daten anreichern, Ticket anlegen oder ein Konto sperren.
  • Triage: die erste Sichtung eines Alarms. Ist er echt, wie dringend ist er, wer übernimmt?
  • False Positive: ein Fehlalarm, bei dem harmlose Aktivität als Angriff gemeldet wird.
  • MTTD und MTTR (Mean Time to Detect, Mean Time to Respond): mittlere Zeit bis zur Erkennung und bis zur Reaktion.
  • Playbook: eine festgelegte Schrittfolge für einen bestimmten Vorfallstyp.
  • Human-in-the-loop: Ein Mensch prüft und gibt frei, bevor eine KI-Empfehlung wirksam wird.

Wo KI-Assistenz im SOC hilft

Gemeint sind vor allem Sprachmodelle, die Analysten zuarbeiten, nicht autonome Systeme, die selbst eingreifen. Typische Einsatzfelder:

  • Triage vorbereiten. Die KI fasst einen Alarm mit den zugehörigen Ereignissen zusammen, ordnet ihn einer bekannten Angriffstechnik zu und schlägt eine Priorität vor.
  • Kontext anreichern. Informationen zu betroffenen Systemen, Nutzern und bekannten Angriffsindikatoren werden aus mehreren Quellen zusammengezogen, statt dass der Analyst sie einzeln abfragt.
  • Abfragen formulieren. Analysten beschreiben in natürlicher Sprache, was sie suchen. Die KI erzeugt daraus eine Suchabfrage für das SIEM, die der Analyst prüft und ausführt.
  • Dokumentation und Bericht. Entwürfe für Vorfallberichte, Übergaben zwischen Schichten und die 24-Stunden-Erstmeldung werden schneller fertig. Ein Mensch prüft und verantwortet den Inhalt.
  • Playbooks vorschlagen. Die KI empfiehlt das passende Playbook. Ausgeführt wird es nach Freigabe oder, bei klar definierten Standardfällen, automatisiert über SOAR.

Wie viel Zeit das im Einzelfall spart, hängt stark von Datenlage, Prozessen und Modell ab. Belastbare, herstellerunabhängige Messwerte aus dem Betrieb gibt es nach unserem Kenntnisstand bisher nicht. Wir nennen deshalb keine Prozentzahlen. Messen Sie die Wirkung im eigenen SOC, etwa an MTTD, MTTR und der Zeit pro Triage.

Wo die Grenzen liegen

  • Halluzination. Sprachmodelle erzeugen plausible, aber falsche Aussagen, etwa eine erfundene Prozess-ID oder eine falsche Zuordnung zu einer Angreifergruppe. Das BSI nennt dieses Risiko in seinem Papier „Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden“ ausdrücklich. Jede Aussage der KI muss auf Rohdaten zurückführbar sein.
  • Prompt Injection. Ein Angreifer versteckt Anweisungen in Daten, die das Modell verarbeitet, zum Beispiel in einem Logeintrag, einem E-Mail-Betreff oder einem Dateinamen. Die OWASP führt Prompt Injection als Risiko Nr. 1 für Anwendungen mit Sprachmodellen (LLM01:2025) und unterscheidet direkte und indirekte Injection. Im SOC ist die indirekte Form besonders relevant, weil ein großer Teil der Eingabedaten vom Angreifer beeinflusst sein kann.
  • Nachvollziehbarkeit. Eine Eskalation oder Nicht-Eskalation muss sich später vor Aufsicht, Auditor oder Gericht begründen lassen. „Die KI hat das so bewertet“ ist keine Begründung. Eingaben, Ausgaben, Modellversion und die menschliche Entscheidung gehören protokolliert.
  • Datenabfluss. SOC-Daten enthalten personenbezogene Daten, Zugangsdaten und Details zu Schwachstellen. Welche Daten wohin gehen, wer das Modell betreibt und wo es läuft, ist eine Frage der DSGVO und der Informationssicherheit.
  • Bekannte Muster. Laut BSI-Analyse zu KI und gegenwärtigen Cyberbedrohungen ersetzt KI klassische Detektion anhand von Angriffsindikatoren nicht. KI ergänzt Regeln und Signaturen, sie ersetzt sie nicht.

Einordnung nach dem EU AI Act

Der EU AI Act (Verordnung (EU) 2024/1689) stuft KI-Systeme nach Risiko ein. Hochrisiko sind unter anderem Systeme nach Anhang III Nr. 2, die als Sicherheitsbauteile in Verwaltung und Betrieb kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Wasser-, Gas-, Wärme- oder Stromversorgung eingesetzt werden. Erwägungsgrund 55 stellt klar: Komponenten, die ausschließlich der Cybersicherheit dienen, sollen nicht als Sicherheitsbauteile gelten.

Ein KI-Assistent, der Analysten bei Triage und Bericht unterstützt, ist deshalb in der Regel kein Hochrisiko-System. Das ist eine Einordnung, keine Freistellung: Steuert das System selbst Anlagen, etwa durch automatisches Abschalten in einer Stromversorgung, ist der Einzelfall neu zu prüfen. Für Hochrisiko-Systeme nach Anhang III gelten die Pflichten nach der Änderung durch die Verordnung (EU) 2026/1744 ab dem 2. Dezember 2027.

Unabhängig von der Risikoklasse gilt Artikel 4: Anbieter und Betreiber treffen Maßnahmen, um die KI-Kompetenz ihres Personals zu fördern. Seit der Änderung durch die Verordnung (EU) 2026/1744 ist die Pflicht als Unterstützungspflicht formuliert, sie bleibt aber bestehen. Für ein SOC heißt das: Analysten müssen verstehen, was das Modell kann, wo es sich irrt und wie sie Ausgaben prüfen.

Einführung in fünf Schritten

  1. Anwendungsfälle und Messgrößen festlegen. Beginnen Sie mit einem eng begrenzten Fall, etwa der Zusammenfassung von Phishing-Meldungen. Messen Sie vorher und nachher: Zeit pro Triage, MTTD, MTTR, Anteil der Fehlalarme.
  2. Daten und Betrieb klären. Welche Daten darf das Modell sehen? Läuft es in Ihrer Infrastruktur oder bei einem Anbieter, und mit welchem Vertrag? Datenschutz-Folgenabschätzung prüfen, Zugriffsrechte des Assistenten auf das Nötigste begrenzen.
  3. Human-in-the-loop verbindlich machen. Die KI schlägt vor, der Mensch entscheidet. Automatisch ausgeführt wird nur, was als Standardfall in einem freigegebenen Playbook beschrieben ist. Eingriffe in Produktion und Anlagen gibt immer ein Analyst frei.
  4. Gegen Angriffe auf das Modell härten. Eingabedaten als nicht vertrauenswürdig behandeln, Ausgaben gegen Rohdaten prüfen, Werkzeugrechte des Assistenten eng fassen. Testen Sie das System gezielt mit Prompt-Injection-Fällen, bevor es in den Betrieb geht.
  5. Protokollieren, schulen, nachsteuern. Eingaben, Ausgaben, Modellversion und Entscheidungen revisionssicher speichern. Analysten nach Artikel 4 EU AI Act schulen. Die Messgrößen aus Schritt 1 regelmäßig auswerten und den Einsatz erweitern oder zurückfahren.

Wie GermanAI Defense unterstützt

Unser 24/7 SOC verbindet zentrale Ereignisauswertung (SIEM), feste Playbooks für Standardfälle (SOAR) und Analysten, die kritische Lagen sofort übernehmen. Mit AI Solutions bauen wir KI-Assistenten und RAG-Systeme mit klarer Berechtigungsarchitektur, in unserer GRC-Beratung ordnen wir KI-Einsätze nach EU AI Act und DSGVO ein. Die GAD Academy schult Teams zum EU AI Act und zur KI-Kompetenz.

→ Mehr zu unseren Cybersecurity Services: germanaidefense.de/cybersecurity

Quellen

Stand: 29.09.2026. Dieser Beitrag ist eine fachliche Einordnung und ersetzt keine Rechtsberatung im Einzelfall.