Hochrisiko-KI: Pflichten und Konformitätsbewertung

Hochrisiko-KI-Systeme unterliegen den umfangreichsten Pflichten der KI-Verordnung (EU) 2024/1689. Diese Seite richtet sich an Unternehmen, die KI-Systeme für Personalauswahl, Kreditprüfung, Bildung, kritische Infrastruktur oder als Bestandteil regulierter Produkte entwickeln, vertreiben oder einsetzen. Sie erfahren, wann ein System als hochriskant gilt, welche Pflichten Anbieter und Betreiber treffen und wie Sie die verbleibende Zeit bis zu den neuen Geltungsterminen nutzen.

Wann ist ein KI-System hochriskant?

Art. 6 KI-VO kennt zwei Wege in die Hochrisiko-Kategorie. Welcher Weg einschlägig ist, bestimmt auch den Geltungsbeginn der Pflichten und das Konformitätsbewertungsverfahren.

Produktbezogene Hochrisiko-Systeme (Art. 6 Abs. 1, Anhang I)

Ein KI-System ist hochriskant, wenn es selbst ein Produkt oder Sicherheitsbauteil eines Produkts ist, das unter die in Anhang I genannten Harmonisierungsrechtsakte fällt, und dieses Produkt einer Konformitätsbewertung durch Dritte unterliegt. Typische Beispiele sind KI-gestützte Steuerungen in Maschinen, Diagnosesoftware als Medizinprodukt oder Funktionen in Aufzügen und Spielzeug.

Eigenständige Hochrisiko-Systeme (Art. 6 Abs. 2, Anhang III)

Anhang III listet Einsatzbereiche, in denen KI-Systeme grundsätzlich als hochriskant gelten. Für Unternehmen besonders relevant sind:

Beschäftigung und Personalmanagement: Ausschreibung, Sichtung und Filterung von Bewerbungen, Bewertung von Bewerbern, Entscheidungen über Beförderung, Kündigung und Aufgabenzuweisung sowie Leistungs- und Verhaltensüberwachung
Zugang zu wesentlichen privaten und öffentlichen Diensten: Kreditwürdigkeitsprüfung natürlicher Personen, Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen
Allgemeine und berufliche Bildung: Zulassung, Bewertung von Lernergebnissen, Prüfungsaufsicht
Kritische Infrastruktur: Sicherheitsbauteile in Verkehr, Wasser-, Gas-, Wärme- und Stromversorgung sowie digitaler Infrastruktur
Biometrie, Strafverfolgung, Migration, Justiz und demokratische Prozesse

Die Ausnahme nach Art. 6 Abs. 3

Ein Anhang-III-System ist nicht hochriskant, wenn es kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte birgt, etwa weil es nur eine eng gefasste Verfahrensaufgabe erfüllt, das Ergebnis einer bereits abgeschlossenen menschlichen Tätigkeit verbessert, Entscheidungsmuster erkennt, ohne die menschliche Bewertung zu ersetzen, oder eine vorbereitende Aufgabe übernimmt. Führt das System ein Profiling natürlicher Personen durch, greift die Ausnahme nie. Wer sich auf Art. 6 Abs. 3 beruft, muss seine Bewertung vor dem Inverkehrbringen dokumentieren (Art. 6 Abs. 4); die Registrierungsanforderungen für diese Systeme hat der Digital Omnibus vereinfacht. In der Praxis ist diese Einordnung die folgenreichste Einzelentscheidung im gesamten Compliance-Prozess. Ein typischer Fehler: Ein Recruiting-Tool wird als bloßes „Sortierwerkzeug“ eingestuft, obwohl es Bewerbungen faktisch vorfiltert und damit die menschliche Auswahl ersetzt.

Pflichten der Anbieter

Anbieter ist, wer ein Hochrisiko-KI-System entwickelt oder entwickeln lässt und unter eigenem Namen in Verkehr bringt oder in Betrieb nimmt (Art. 3 Nr. 3 KI-VO). Auch Betreiber können nach Art. 25 zum Anbieter werden, etwa durch Vertrieb unter eigener Marke, wesentliche Veränderung oder Änderung der Zweckbestimmung. Die Anforderungen der Art. 8 bis 17 KI-VO im Überblick:

Pflicht	Norm	Inhalt in der Praxis
Risikomanagementsystem	Art. 9	Kontinuierlicher, dokumentierter Prozess über den gesamten Lebenszyklus: Risiken identifizieren, bewerten, mindern, Restrisiken begründen, Tests vor Inverkehrbringen
Daten und Daten-Governance	Art. 10	Qualitätskriterien für Trainings-, Validierungs- und Testdaten; Prüfung auf Verzerrungen (Bias), Repräsentativität, Datenherkunft und Aufbereitung dokumentieren
Technische Dokumentation	Art. 11, Anhang IV	Systembeschreibung, Entwicklungsprozess, Architektur, Daten, Leistungskennzahlen, Risikomanagement, Änderungen; Aufbewahrung zehn Jahre (Art. 18)
Aufzeichnungspflichten	Art. 12	Automatische Protokollierung von Ereignissen (Logs), die Rückverfolgbarkeit und Überwachung ermöglicht
Transparenz und Betriebsanleitung	Art. 13	Gebrauchsanweisung mit Zweckbestimmung, Genauigkeit, bekannten Grenzen, Anforderungen an menschliche Aufsicht und Eingabedaten
Menschliche Aufsicht	Art. 14	Gestaltung so, dass natürliche Personen das System verstehen, Ergebnisse richtig deuten, eingreifen und es anhalten können
Genauigkeit, Robustheit, Cybersicherheit	Art. 15	Angemessenes Leistungsniveau, Fehlerresistenz, Schutz gegen Manipulation wie Data Poisoning oder Adversarial Attacks
Qualitätsmanagementsystem	Art. 17	Schriftliche Strategien und Verfahren für Konformität, Design, Tests, Datenmanagement, Änderungen, Vorfälle und Verantwortlichkeiten

Hinzu kommen die organisatorischen Pflichten aus Art. 16 KI-VO:

Konformitätsbewertung vor dem Inverkehrbringen (Art. 43): Für die meisten Anhang-III-Systeme genügt die interne Kontrolle nach Anhang VI; für bestimmte biometrische Systeme kann eine notifizierte Stelle einzubinden sein. Bei Anhang-I-Produkten wird die KI-Prüfung in das bestehende Konformitätsverfahren des Produktrechts integriert.
EU-Konformitätserklärung (Art. 47) und CE-Kennzeichnung (Art. 48)
Registrierung in der EU-Datenbank vor Inverkehrbringen (Art. 49, Art. 71)
System zur Beobachtung nach dem Inverkehrbringen (Art. 72): aktive Auswertung von Betriebs- und Leistungsdaten
Korrekturmaßnahmen und Informationspflichten bei Nichtkonformität (Art. 20) sowie Zusammenarbeit mit Behörden (Art. 21)
Meldung schwerwiegender Vorfälle an die Marktüberwachungsbehörde (Art. 73): grundsätzlich spätestens 15 Tage nach Kenntnis, bei Todesfällen spätestens zehn Tage, bei weitverbreiteten Verstößen oder schweren Störungen kritischer Infrastruktur spätestens zwei Tage

Der Digital Omnibus on AI (VO (EU) 2026/1744) sieht für kleine und mittlere Unternehmen sowie kleine Mid-Caps Erleichterungen vor, unter anderem eine vereinfachte technische Dokumentation und ein an die Unternehmensgröße angepasstes Qualitätsmanagement. Die materiellen Anforderungen der Art. 9 bis 15 bleiben bestehen.

Pflichten der Betreiber (Art. 26)

Betreiber ist, wer ein KI-System in eigener Verantwortung beruflich verwendet. Die meisten Unternehmen sind beim Einsatz zugekaufter Recruiting- oder Scoring-Software Betreiber. Ihre Pflichten sind schlanker, aber konkret:

Verwendung gemäß Betriebsanleitung durch geeignete technische und organisatorische Maßnahmen
Übertragung der menschlichen Aufsicht auf Personen mit der nötigen Kompetenz, Schulung und Befugnis (vgl. KI-Kompetenz nach Art. 4)
Sicherstellung, dass Eingabedaten, soweit sie Ihrer Kontrolle unterliegen, der Zweckbestimmung entsprechen und hinreichend repräsentativ sind
Überwachung des Betriebs, Information des Anbieters und gegebenenfalls Aussetzung bei Risiken; Weitergabe schwerwiegender Vorfälle
Aufbewahrung automatisch erzeugter Protokolle für mindestens sechs Monate, soweit sie Ihrer Kontrolle unterliegen
Information der Arbeitnehmervertretung und der betroffenen Beschäftigten vor dem Einsatz am Arbeitsplatz; daneben Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG und Unterrichtung nach § 90 BetrVG
Information natürlicher Personen, wenn ein Anhang-III-System Entscheidungen über sie trifft oder dabei unterstützt; Betroffene können nach Art. 86 KI-VO eine Erläuterung verlangen
Nutzung der Anbieterinformationen für die Datenschutz-Folgenabschätzung nach Art. 35 DSGVO

Grundrechte-Folgenabschätzung (Art. 27)

Vor der ersten Verwendung eines Anhang-III-Systems müssen bestimmte Betreiber eine Grundrechte-Folgenabschätzung durchführen: Einrichtungen des öffentlichen Rechts, private Einrichtungen, die öffentliche Dienste erbringen, sowie Betreiber von Systemen zur Kreditwürdigkeitsprüfung und zur Risikobewertung und Preisbildung in der Lebens- und Krankenversicherung. Die Abschätzung beschreibt Einsatzprozesse, Zeitraum und Häufigkeit, betroffene Personengruppen, spezifische Schadensrisiken, Maßnahmen der menschlichen Aufsicht sowie Abhilfe- und Beschwerdemechanismen. Das Ergebnis ist der Marktüberwachungsbehörde mitzuteilen. Eine bereits durchgeführte Datenschutz-Folgenabschätzung kann ergänzt werden, ersetzt die Grundrechte-Folgenabschätzung aber nicht.

Fahrplan bis 2027 und 2028

Durch den Digital Omnibus gelten die Hochrisiko-Pflichten für Anhang-III-Systeme ab dem 2. Dezember 2027 und für Anhang-I-Systeme ab dem 2. August 2028. Details zu allen Terminen finden Sie unter AI-Act-Fristen. Die Verschiebung ist kein Anlass zum Abwarten: Risikomanagement, Datendokumentation und QMS lassen sich nicht in wenigen Monaten nachträglich aufbauen, und Kunden fragen Konformitätsnachweise bereits heute in Ausschreibungen ab.

Bis Mitte 2027 (Anhang III) bzw. Anfang 2028 (Anhang I): Bestandsaufnahme im KI-Inventar, Rollenklärung und dokumentierte Einstufung jedes Systems
Gap-Analyse gegen Art. 9 bis 15 und Anhang IV; Abgleich mit verfügbaren harmonisierten Normen und bestehenden Managementsystemen (ISO 9001, ISO/IEC 27001, ISO/IEC 42001)
Aufbau von Risikomanagement, Daten-Governance und Protokollierung in der Entwicklung; Anpassung von Verträgen mit Zulieferern und Kunden
Technische Dokumentation, Betriebsanleitung und QMS fertigstellen; interne oder externe Konformitätsbewertung
Konformitätserklärung, CE-Kennzeichnung, Registrierung, Start der Marktbeobachtung und des Vorfallmanagements

Praxistipp: Halten Sie die Einstufung nach Art. 6 schriftlich fest, auch wenn Sie zum Ergebnis „nicht hochriskant“ kommen. Bei einer Behördenanfrage ist diese Begründung das erste Dokument, das verlangt wird.

Warum technische Expertise den Unterschied macht

Die Pflichten der Art. 9 bis 15 sind rechtlich formuliert, aber technisch zu erfüllen. Ob Trainingsdaten repräsentativ sind, ob Logs eine Rückverfolgung tatsächlich ermöglichen oder ob Robustheitstests dem Stand der Technik entsprechen, lässt sich nur mit Verständnis für Modellarchitektur, Datenpipelines und Testverfahren beurteilen. In unserem Team arbeiten Rechtsanwälte mit Patentanwälten und Kolleginnen und Kollegen mit ingenieur- und naturwissenschaftlichem Hintergrund (Dipl.-Ing., Dipl.-Phys.) zusammen. So prüfen wir technische Dokumentationen nicht nur auf Vollständigkeit, sondern auf inhaltliche Belastbarkeit, und übersetzen Anforderungen in Vorgaben, mit denen Entwicklungsteams arbeiten können.

So unterstützen wir Sie

Einstufung Ihrer KI-Systeme nach Art. 6 KI-VO einschließlich dokumentierter Prüfung der Ausnahme nach Abs. 3
Rollenanalyse (Anbieter, Betreiber, Einführer, Händler) und Prüfung der Rollenwechsel nach Art. 25
Gap-Analyse und Umsetzungsplan für Art. 9 bis 17 KI-VO
Prüfung und Mitgestaltung der technischen Dokumentation nach Anhang IV und der Betriebsanleitung
Aufbau von Qualitätsmanagement, Marktbeobachtung und Vorfallmeldeprozess
Grundrechte-Folgenabschätzung und Abstimmung mit der Datenschutz-Folgenabschätzung
Verträge mit KI-Lieferanten und Kunden: Mitwirkungs-, Informations- und Haftungsregelungen
Begleitung von Betriebsratsverhandlungen beim Einsatz von Hochrisiko-KI im Personalwesen

Häufige Fragen

Wir nutzen ein zugekauftes Bewerbermanagement mit KI-Ranking. Sind wir Anbieter?

In der Regel nicht. Sie sind Betreiber mit den Pflichten aus Art. 26 KI-VO. Zum Anbieter werden Sie erst, wenn Sie das System unter eigenem Namen vertreiben, wesentlich verändern oder für einen anderen Hochrisiko-Zweck einsetzen, als der Anbieter vorgesehen hat. Prüfen Sie dennoch, ob Ihr Lieferant die Anbieterpflichten bis zum 2. Dezember 2027 erfüllen kann, und regeln Sie das vertraglich.

Gelten die Hochrisiko-Pflichten auch für Systeme, die schon im Einsatz sind?

Für Hochrisiko-Systeme, die vor dem Geltungsbeginn in Verkehr gebracht wurden, gelten die Anforderungen grundsätzlich erst, wenn sie danach erheblich verändert werden (Art. 111 Abs. 2 KI-VO). Für Systeme, die von Behörden genutzt werden sollen, bestehen Sonderfristen. Da Modelle häufig nachtrainiert werden, ist die Schwelle der erheblichen Veränderung in der Praxis schnell erreicht.

Brauchen wir für Anhang-III-Systeme eine notifizierte Stelle?

Meist nicht. Für die Mehrzahl der Anhang-III-Systeme genügt das Verfahren der internen Kontrolle nach Anhang VI. Bei bestimmten biometrischen Systemen kann eine notifizierte Stelle erforderlich sein. Für Anhang-I-Produkte richtet sich das Verfahren nach dem jeweiligen Produktrecht.

Ersetzt die Datenschutz-Folgenabschätzung die Grundrechte-Folgenabschätzung?

Nein. Die DSFA nach Art. 35 DSGVO betrachtet Risiken der Datenverarbeitung, die Grundrechte-Folgenabschätzung nach Art. 27 KI-VO weitere Grundrechte wie Nichtdiskriminierung oder Zugang zu Leistungen. Beide lassen sich jedoch in einem abgestimmten Verfahren erstellen.