Kurz gesagt: Der EU AI Act (Verordnung EU 2024/1689) ist seit August 2024 in Kraft, seine Pflichten gelten gestaffelt. Die Pflichten für Hochrisiko-Systeme nach Anhang III gelten nach einer Änderung von 2026 (Verordnung (EU) 2026/1744) erst ab dem 2. Dezember 2027 (siehe Zeitleiste). Behörden sind besonders betroffen, weil viele typische Einsatzfelder (Verwaltungsentscheidungen, Strafverfolgung, Migration, kritische Infrastruktur) als Hochrisiko gelten. Welche KI-Anwendung als Hochrisiko gilt, welche Pflichten greifen, und wie eine Konformitätsbewertung praktisch aussieht.

Warum Behörden besonders betroffen sind

Der EU AI Act klassifiziert KI-Systeme nach Risiko. Vier Kategorien:

  • Verbotene KI (Artikel 5): Social Scoring, manipulative KI, biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken (mit Ausnahmen)
  • Hochrisiko-KI (Artikel 6 und Anhang III): umfangreiche Pflichten, Konformitätsbewertung
  • Begrenztes Risiko (Artikel 50): Transparenz-Pflichten (z. B. Chatbots erkennbar machen)
  • Minimales Risiko: keine spezifischen Pflichten

Anhang III listet die Hochrisiko-Bereiche. Mehrere davon treffen Behörden direkt:

  • Biometrie (z. B. biometrische Fernidentifizierung)
  • Bildung und Berufsausbildung (z. B. Prüfungsbewertung, Zulassung)
  • Beschäftigung und Personalmanagement (Recruiting, Leistungsbewertung)
  • Zugang zu wesentlichen privaten und öffentlichen Dienstleistungen (Sozialleistungen, Kreditwürdigkeit)
  • Strafverfolgung (z. B. Risikobewertung, Beweismittel-Analyse)
  • Migration, Asyl, Grenzkontrolle
  • Justiz und demokratische Prozesse
  • Kritische Infrastruktur (Sicherheitsbauteile in Verwaltung und Betrieb)

Wer als Behörde KI in einem dieser Bereiche einsetzt, fällt in der Regel unter die Hochrisiko-Regeln. Ausnahmen regelt Artikel 6 Abs. 3, etwa für Systeme, die nur eng begrenzte vorbereitende Aufgaben erfüllen.

Pflichten für Hochrisiko-Systeme

Artikel 8 bis 15 definieren die zentralen Anforderungen an das System. Umsetzen muss sie vor allem der Anbieter. In der Praxis bedeutet das:

  1. Risikomanagement-System (Artikel 9) über den gesamten Lebenszyklus. Identifizieren, Bewerten, Minimieren, Überwachen. Dokumentiert, regelmäßig aktualisiert.
  2. Daten-Governance (Artikel 10). Trainings-, Validierungs- und Testdaten müssen relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein. Bias-Prüfung dokumentiert.
  3. Technische Dokumentation (Artikel 11 und Anhang IV). Umfangreich: Zweck, Architektur, Datensätze, Validierungs-Ergebnisse, Risiken. So ausführlich, dass eine Aufsichtsbehörde die Konformität allein aus der Dokumentation bewerten kann.
  4. Aufzeichnungspflicht (Artikel 12). Das System muss Ereignisse über seine gesamte Lebensdauer automatisch protokollieren. Betreiber bewahren die Protokolle mindestens sechs Monate auf (Artikel 26 Abs. 6), oft länger.
  5. Transparenz (Artikel 13). Klare Benutzungs-Anweisungen, Hinweise auf Grenzen, Output-Erklärbarkeit.
  6. Menschliche Aufsicht (Artikel 14). Ein Mensch muss das KI-Ergebnis prüfen und gegebenenfalls überstimmen können. Kein vollautomatisches Durchwirken bei rechtsrelevanten Entscheidungen.
  7. Genauigkeit, Robustheit, Cybersicherheit (Artikel 15). Messbare Anforderungen, regelmäßige Tests, Schutz gegen adversariale Angriffe.

Konformitätsbewertung

Bevor ein Hochrisiko-System in Verkehr gebracht oder in Betrieb genommen wird, muss der Anbieter eine Konformitätsbewertung durchführen (Artikel 43). Für die Hochrisiko-Bereiche aus Anhang III Nr. 2 bis 8, also auch für kritische Infrastruktur, ist das in der Regel eine interne Kontrolle durch den Anbieter nach Anhang VI. Nur bei biometrischen Systemen (Anhang III Nr. 1) kann die Einbindung einer benannten Stelle nötig sein.

Output der Konformitätsbewertung:

  • EU-Konformitätserklärung (Artikel 47)
  • CE-Kennzeichnung des Systems (Artikel 48)
  • Eintragung in die EU-Datenbank für Hochrisiko-Systeme (Artikel 49 und 71)

Behörden müssen prüfen, dass eingekaufte Hochrisiko-Systeme diese Konformitätsbewertung durchlaufen haben.

Pflichten der Behörde als Betreiber

Die Anforderungen oben richten sich vor allem an den Anbieter, also an den, der das KI-System entwickelt oder unter eigenem Namen in Verkehr bringt. Behörden sind meist Betreiber. Für sie gelten eigene Pflichten:

  • Einsatz nach Gebrauchsanweisung und menschliche Aufsicht durch geschulte, befugte Personen (Artikel 26 Abs. 1 und 2)
  • Überwachung des Betriebs, Information des Anbieters und der Marktüberwachung bei Risiken oder schwerwiegenden Vorfällen (Artikel 26 Abs. 5)
  • Aufbewahrung der Protokolle für mindestens sechs Monate, soweit sie unter der Kontrolle der Behörde stehen (Artikel 26 Abs. 6)
  • Information der Betroffenen, wenn ein Hochrisiko-System Entscheidungen über natürliche Personen trifft oder unterstützt (Artikel 26 Abs. 11)
  • Grundrechte-Folgenabschätzung vor dem ersten Einsatz, Pflicht für Einrichtungen des öffentlichen Rechts (Artikel 27)
  • Registrierung der Nutzung in der EU-Datenbank durch Behörden als Betreiber (Artikel 49 Abs. 3)
  • KI-Kompetenz der Beschäftigten, die mit KI-Systemen arbeiten (Artikel 4, seit 2. Februar 2025)

Entwickelt eine Behörde ein System selbst und setzt es unter eigenem Namen ein, ist sie zugleich Anbieterin und trägt auch die Anbieterpflichten.

Checkliste für Behörden

Wir empfehlen folgenden Umsetzungspfad:

1. Inventur der KI-Anwendungen

  • Welche KI-Systeme sind im Einsatz oder geplant?
  • Pro System: Zweck, Datenfluss, Entscheidungsbeitrag, Betroffene
  • Output: Inventarliste mit Risiko-Klassifizierung

2. Klassifizierung gegen Anhang III

  • Pro System: fällt das unter Hochrisiko-Anwendung?
  • Bei Unklarheit: rechtliche Bewertung einholen
  • Output: Klassifizierungs-Dokument mit Begründung pro System

3. Lücken-Analyse für Hochrisiko-Systeme

  • Pro Hochrisiko-System: Welche Anbieter- und Betreiberpflichten sind erfüllt, welche nicht?
  • Grundrechte-Folgenabschätzung vor dem Einsatz eingeplant (Artikel 27)?
  • Output: Maßnahmenplan mit Eigentümern und Terminen

4. Daten-Governance aufsetzen

  • Trainingsdaten klassifizieren, Bias-Tests dokumentieren
  • Personenbezogene Daten: Rechtsgrundlage nach DSGVO und Vereinbarkeit mit EU AI Act prüfen
  • Output: Datenkatalog mit Schutzbedarf und Verantwortlichen

5. Technische Dokumentation erstellen

  • Nur bei Eigenentwicklung (Behörde als Anbieterin): Anhang IV gibt die Struktur vor
  • Bei eingekauften Systemen: Gebrauchsanweisung und Unterlagen des Anbieters anfordern und prüfen
  • Lebende Dokumentation, nicht einmalig
  • Output: dokumentiertes System nach Behörden-Standard

6. Menschliche Aufsicht etablieren

  • Rollen, Berechtigungen, Eskalationswege
  • Schulung der aufsichtführenden Personen
  • Output: Geschäftsordnung für KI-Aufsicht

7. Monitoring und Reporting

  • Protokolle sichern und mindestens sechs Monate aufbewahren
  • Periodische Review der Modell-Performance
  • Vorfall-Meldewege an die Aufsichtsbehörde (in Deutschland ist die Bundesnetzagentur als zentrale Marktüberwachungsbehörde vorgesehen)
  • Output: Monitoring-Dashboard, Reporting-Kalender

Beschaffung: was in Vergabe-Unterlagen rein muss

Behörden, die KI-Systeme beschaffen, müssen die Konformitätsanforderungen in die Vergabe-Unterlagen aufnehmen. Mindestens:

  • Verpflichtung zur Bereitstellung der EU-Konformitätserklärung
  • CE-Kennzeichnung als Eignungs-Voraussetzung
  • Zugriff auf die technische Dokumentation für die Betriebsphase
  • Mitwirkungspflichten bei Vorfällen und Konformitätsprüfungen
  • Daten-Verarbeitungs-Garantien (Standort, Rechtsordnung, Subunternehmen)
  • Audit- und Inspektionsrechte

Zeitleiste der Anwendbarkeit

Der AI Act gilt gestaffelt. Ursprünglich vorgesehen waren:

  • 02.02.2025: Verbotene KI-Praktiken und Pflicht zur KI-Kompetenz (Artikel 4 und 5)
  • 02.08.2025: Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI)
  • 02.08.2026: Hauptpflichten, insbesondere für Hochrisiko-Systeme nach Anhang III, sowie Transparenzpflichten nach Artikel 50
  • 02.08.2027: Hochrisiko-Systeme, die in Produkte nach Anhang I eingebettet sind

Mit der Verordnung (EU) 2026/1744 vom 8. Juli 2026, dem sogenannten Digital-Omnibus zur KI, wurden diese Fristen geändert. Sie wurde am 24. Juli 2026 im Amtsblatt der EU veröffentlicht und ist am 27. Juli 2026 in Kraft getreten. Die Pflichten für Hochrisiko-Systeme nach Anhang III gelten seitdem ab dem 2. Dezember 2027, für Hochrisiko-Systeme in Produkten nach Anhang I ab dem 2. August 2028. Die meisten Transparenzpflichten nach Artikel 50 gelten weiter ab dem 2. August 2026. Quellen: Verordnung (EU) 2026/1744 auf EUR-Lex, Europäische Kommission, 27.07.2026. Behörden sollten die gewonnene Zeit für Inventur, Klassifizierung und Grundrechte-Folgenabschätzung nutzen.

Wie GermanAI Defense unterstützt

Wir begleiten Behörden bei der EU-AI-Act-Konformität: Inventur, Klassifizierung, Lückenanalyse, Daten-Governance, Grundrechte-Folgenabschätzung und Dokumentation. Auf Wunsch betreiben wir die Lösung in Deutschland oder bei Ihnen vor Ort.

→ Mehr zu unseren AI Solutions: AI Solutions ansehen