Die EU-KI-Verordnung (AI Act) klassifiziert bestimmte KI-Anwendungen als Hochrisiko-KI-Systeme, wenn von ihnen ein erhebliches Gefährdungspotenzial für die Gesundheit, Sicherheit oder die Grundrechte natürlicher Personen ausgeht. Diese Systeme sind nicht grundsätzlich verboten, dürfen jedoch nur unter strengen gesetzlichen Bedingungen eingesetzt werden.
Der AI Act unterscheidet zwei Kategorien von Hochrisiko-KI-Systemen.
Produktintegrierte Hochrisiko-KI (Embedded High-Risk AI)
Hierzu zählen KI-Systeme, die selbst ein reguliertes Produkt darstellen oder als sicherheitsrelevantes Bauteil in ein physisches Produkt integriert sind. Sie unterliegen bereits bestehenden EU-Produktsicherheitsvorschriften gemäß Anhang I des AI Act und müssen ein entsprechendes Konformitätsbewertungsverfahren durchlaufen.
Autonome Hochrisiko-KI-Systeme (Non-Embedded High-Risk AI)
Diese Systeme werden aufgrund ihres spezifischen Einsatzbereichs als hochriskant angesehen, unabhängig davon, ob sie Teil eines regulierten Produkts sind. Entscheidend sind die in Anhang III des AI Act aufgeführten sensiblen Anwendungsfelder. Dazu zählen insbesondere Biometrie, kritische Infrastrukturen, Bildung, Beschäftigung und Personalmanagement, Kredit- und Versicherungswesen, Strafverfolgung, Migration sowie Justiz und demokratische Prozesse.
Es ist wichtig zu beachten, dass das Profiling natürlicher Personen stets als Hochrisiko-KI eingestuft wird.
Für autonome Hochrisiko-KI-Systeme besteht unter engen Voraussetzungen die Möglichkeit, einen Gegenbeweis zu führen. Dies ist zulässig, wenn das KI-System:
- keine Letztentscheidung trifft,
- ausschließlich unterstützend eingesetzt wird und
- die menschliche Entscheidung nicht ersetzt.
Typische Beispiele hierfür sind einfache Lebenslaufanalysen oder Dokumentenkategorisierungen. Die Erfüllung dieser Bedingungen ist vollständig zu dokumentieren und den zuständigen Behörden auf Verlangen vorzulegen.
Hochrisiko-KI-Systeme unterliegen umfangreichen technischen, organisatorischen und dokumentarischen Pflichten. Dazu gehören insbesondere ein durchgängiges Risikomanagement über den gesamten Lebenszyklus, Anforderungen an Genauigkeit, Robustheit und Cybersicherheit sowie die Durchführung von Konformitätsbewertungen einschließlich CE-Kennzeichnung und Registrierung in einer EU-Datenbank. Ergänzend sind Maßnahmen zur menschlichen Aufsicht, zur Schulung der Mitarbeitenden und zur laufenden Risikoüberwachung erforderlich.
Anwendbarkeit
Für autonome Hochrisiko-KI-Systeme gelten die Pflichten ab dem 2. August 2026.
Für produktintegrierte Hochrisiko-KI-Systeme treten sie ab dem 2. August 2027 in Kraft.