TL;DR Der EU AI Act (Verordnung EU 2024/1689) ist seit August 2024 in Kraft, die Pflichten für Hochrisiko-Systeme greifen schrittweise bis 2026. Behörden sind besonders betroffen, weil viele typische Einsatzfelder (Verwaltungsentscheidungen, Strafverfolgung, Migration, kritische Infrastruktur) als Hochrisiko gelten. Welche KI-Anwendung als Hochrisiko gilt, welche Pflichten greifen, und wie eine Konformitätsbewertung praktisch aussieht.
Warum Behörden besonders betroffen sind
Der EU AI Act klassifiziert KI-Systeme nach Risiko. Vier Kategorien:
- - Verbotene KI (Artikel 5): Social Scoring, manipulative KI, biometrische Echtzeit-Identifikation im öffentlichen Raum (mit Ausnahmen)
- - Hochrisiko-KI (Artikel 6 und Anhang III): umfangreiche Pflichten, Konformitätsbewertung
- - Begrenztes Risiko (Artikel 50): Transparenz-Pflichten (z.B. Chatbots erkennbar machen)
- - Minimales Risiko: keine spezifischen Pflichten
Anhang III listet die Hochrisiko-Bereiche. Mehrere davon treffen Behörden direkt:
- - Bildung und Berufsausbildung (z.B. Prüfungsbewertung, Zulassung)
- - Beschäftigung und Personalmanagement (Recruiting, Leistungsbewertung)
- - Zugang zu wesentlichen privaten und öffentlichen Dienstleistungen (Sozialleistungen, Kreditwürdigkeit)
- - Strafverfolgung (z.B. Risikobewertung, Beweismittel-Analyse)
- - Migration, Asyl, Grenzkontrolle
- - Justiz und demokratische Prozesse
- - Verwaltung kritischer Infrastruktur
Wer als Behörde KI in einem dieser Bereiche einsetzt, ist im Geltungsbereich der Hochrisiko-Pflichten.
Pflichten für Hochrisiko-Systeme
Artikel 8 bis 15 definieren die zentralen Anforderungen. In der Praxis bedeutet das:
- 1. Risikomanagement-System (Artikel 9) über den gesamten Lebenszyklus. Identifizieren, Bewerten, Minimieren, Überwachen. Dokumentiert, regelmäßig aktualisiert.
- 2. Daten-Governance (Artikel 10). Trainings-, Validierungs- und Testdaten müssen geeignet, repräsentativ, fehlerfrei und vollständig sein. Bias-Prüfung dokumentiert.
- 3. Technische Dokumentation (Artikel 11 und Anhang IV). Umfangreich: Zweck, Architektur, Datensätze, Validierungs-Ergebnisse, Risiken. So ausführlich, dass eine Aufsichtsbehörde die Konformität allein aus der Dokumentation bewerten kann.
- 4. Aufzeichnungspflicht (Artikel 12). Automatische Protokollierung aller Inferenzen über den gesamten Betrieb. Aufbewahrung mindestens 6 Monate, oft länger.
- 5. Transparenz (Artikel 13). Klare Benutzungs-Anweisungen, Hinweise auf Grenzen, Output-Erklärbarkeit.
- 6. Menschliche Aufsicht (Artikel 14). Ein Mensch muss das KI-Ergebnis prüfen und gegebenenfalls überstimmen können. Kein vollautomatisches Durchwirken bei rechtsrelevanten Entscheidungen.
- 7. Genauigkeit, Robustheit, Cybersicherheit (Artikel 15). Messbare Anforderungen, regelmäßige Tests, Schutz gegen adversariale Angriffe.
Konformitätsbewertung
Vor Inbetriebnahme eines Hochrisiko-Systems verlangt der AI Act eine Konformitätsbewertung (Artikel 43). Für die meisten Anwendungsfälle reicht eine interne Bewertung des Anbieters. Bei sensiblen Einsatzfeldern (biometrische Identifikation, kritische Infrastruktur) ist die Einbindung einer benannten Stelle nötig.
Output der Konformitätsbewertung:
- - EU-Konformitätserklärung (Artikel 47)
- - CE-Kennzeichnung des Systems (Artikel 48)
- - Eintragung in die EU-Datenbank für Hochrisiko-Systeme (Artikel 49 und 71)
Behörden als Anwender müssen prüfen, dass eingekaufte oder selbst entwickelte Hochrisiko-Systeme diese Konformitätsbewertung haben.
Checkliste für Behörden
Wir empfehlen folgenden Umsetzungspfad:
1. Inventur der KI-Anwendungen
- - Welche KI-Systeme sind im Einsatz oder geplant?
- - Pro System: Zweck, Datenfluss, Entscheidungsbeitrag, Betroffene
- - Output: Inventarliste mit Risiko-Klassifizierung
2. Klassifizierung gegen Anhang III
- - Pro System: fällt das unter Hochrisiko-Anwendung?
- - Bei Unklarheit: rechtliche Bewertung einholen
- - Output: Klassifizierungs-Dokument mit Begründung pro System
3. Lücken-Analyse für Hochrisiko-Systeme
- - Pro Hochrisiko-System: welche der 7 Pflichten sind erfüllt, welche nicht?
- - Output: Maßnahmenplan mit Eigentümern und Terminen
4. Daten-Governance aufsetzen
- - Trainingsdaten klassifizieren, Bias-Tests dokumentieren
- - Personenbezogene Daten: Rechtsgrundlage nach DSGVO + Vereinbarkeit mit AI Act prüfen
- - Output: Datenkatalog mit Schutzbedarf und Verantwortlichen
5. Technische Dokumentation erstellen
- - Anhang IV gibt die Struktur vor
- - Lebende Dokumentation, nicht einmalig
- - Output: dokumentiertes System nach Behörden-Standard
6. Menschliche Aufsicht etablieren
- - Rollen, Berechtigungen, Eskalationswege
- - Schulung der aufsichtführenden Personen
- - Output: Geschäftsordnung für KI-Aufsicht
7. Monitoring und Reporting
- - Automatische Protokollierung aller Inferenzen
- - Periodische Review der Modell-Performance
- - Vorfall-Meldewege an die Aufsichtsbehörde (in DE: BNetzA als zentrale Marktüberwachung erwartet)
- - Output: Monitoring-Dashboard, Reporting-Kalender
Beschaffung: was in Vergabe-Unterlagen rein muss
Behörden, die KI-Systeme beschaffen, müssen die Konformitätsanforderungen in die Vergabe-Unterlagen aufnehmen. Mindestens:
- - Verpflichtung zur Bereitstellung der EU-Konformitätserklärung
- - CE-Kennzeichnung als Eignungs-Voraussetzung
- - Zugriff auf die technische Dokumentation für die Betriebsphase
- - Mitwirkungspflichten bei Vorfällen und Konformitätsprüfungen
- - Daten-Verarbeitungs-Garantien (Standort, Rechtsordnung, Subunternehmen)
- - Audit- und Inspektionsrechte
Zeitleiste der Anwendbarkeit
Der AI Act tritt schrittweise in Kraft:
- - 02.02.2025: Verbotene KI-Praktiken anwendbar
- - 02.08.2025: Pflichten für GPAI-Anbieter (General-Purpose-AI) anwendbar
- - 02.08.2026: Vollständige Anwendbarkeit für Hochrisiko-Systeme nach Anhang III
- - 02.08.2027: Anwendbarkeit für Hochrisiko-Systeme, die in andere EU-Produkte eingebettet sind (Anhang I)
Behörden, die heute mit KI starten oder ausweiten, müssen die 2026er Fristen aktiv einplanen.
Wie GermanAI Defense unterstützt
Wir begleiten Behörden bei der EU-AI-Act-Konformität: Inventur, Klassifizierung, Lückenanalyse, Aufbau der Daten-Governance, technische Dokumentation nach Anhang IV. Auf Wunsch mit eigener souveräner KI-Infrastruktur in Frankfurt, BSI-konform, ISO/IEC 27001:2022 zertifiziert.
→ Mehr zu unseren AI Services: germanaidefense.de/ai-services