Verbotene KI-Praktiken nach Art. 5

Art. 5 der KI-Verordnung (EU) 2024/1689 untersagt bestimmte KI-Praktiken vollständig. Die Verbote gelten seit dem 2. Februar 2025 für Anbieter und Betreiber gleichermaßen, unabhängig von Unternehmensgröße oder Branche, und sind mit den höchsten Bußgeldern der Verordnung bewehrt. Diese Seite erläutert jeden Verbotstatbestand verständlich, zeigt die Grenzfälle im Unternehmensalltag und beschreibt, wie Sie die Prüfung im Unternehmen organisieren.

Die Verbotstatbestände im Einzelnen

1. Manipulative und täuschende Techniken (Art. 5 Abs. 1 lit. a)

Verboten sind KI-Systeme, die unterschwellige Techniken jenseits des Bewusstseins einer Person oder absichtlich manipulative oder täuschende Techniken einsetzen, mit dem Ziel oder der Wirkung, das Verhalten von Personen wesentlich zu beeinflussen, indem ihre Fähigkeit zu einer informierten Entscheidung spürbar beeinträchtigt wird, und die dadurch einen erheblichen Schaden verursachen oder wahrscheinlich verursachen. Gewöhnliche Werbung und Personalisierung sind nicht erfasst. Kritisch sind dagegen etwa Systeme, die gezielt psychologischen Druck aufbauen, Dringlichkeit vortäuschen oder Nutzer mit erfundenen Tatsachen zu nachteiligen Vertragsabschlüssen bewegen.

2. Ausnutzung von Schwächen (Art. 5 Abs. 1 lit. b)

Untersagt ist die Ausnutzung von Vulnerabilitäten aufgrund des Alters, einer Behinderung oder einer besonderen sozialen oder wirtschaftlichen Lage, wenn dadurch das Verhalten wesentlich beeinflusst und ein erheblicher Schaden verursacht wird oder wahrscheinlich ist. Beispiele sind Systeme, die Kinder zu riskantem Verhalten verleiten oder hoch verschuldete Personen gezielt mit belastenden Finanzprodukten ansprechen.

3. Social Scoring (Art. 5 Abs. 1 lit. c)

Verboten ist die Bewertung oder Einstufung von Personen über einen Zeitraum anhand ihres sozialen Verhaltens oder persönlicher Merkmale, wenn der daraus folgende „Score“ zu einer Schlechterstellung in sozialen Zusammenhängen führt, die mit dem Erhebungskontext nichts zu tun haben, oder die ungerechtfertigt oder unverhältnismäßig ist. Das Verbot betrifft öffentliche und private Stellen. Rechtmäßige, zweckgebundene Bewertungen wie die Bonitätsprüfung nach geltendem Recht sind nicht gemeint; sie können aber Hochrisiko-Systeme sein.

4. Vorhersage von Straftaten durch Profiling (Art. 5 Abs. 1 lit. d)

Untersagt sind Systeme, die das Risiko einer Straftat ausschließlich auf Grundlage von Profiling oder der Bewertung von Persönlichkeitsmerkmalen vorhersagen. Zulässig bleibt die Unterstützung einer menschlichen Bewertung, die auf objektiven, überprüfbaren Tatsachen mit unmittelbarem Bezug zu einer kriminellen Aktivität beruht. Für Unternehmen kann das bei Systemen zur internen Betrugs- oder Compliance-Prävention relevant werden, wenn diese Mitarbeitende allein nach Persönlichkeitsprofilen als „verdächtig“ einstufen.

5. Ungezieltes Auslesen von Gesichtsbildern (Art. 5 Abs. 1 lit. e)

Verboten ist der Aufbau oder die Erweiterung von Gesichtserkennungsdatenbanken durch ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen.

6. Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen (Art. 5 Abs. 1 lit. f)

Untersagt ist die Ableitung von Emotionen natürlicher Personen am Arbeitsplatz und in Bildungseinrichtungen, außer aus medizinischen Gründen oder Sicherheitsgründen. Erfasst sind Systeme, die aus biometrischen Daten wie Gesichtsausdruck, Stimme oder Körperhaltung auf Gefühle oder Absichten schließen. Für Arbeitgeber ist dies das praktisch wichtigste Verbot: Stimmungsanalysen von Beschäftigten in Videokonferenzen, Callcentern oder bei Bewerbungsgesprächen per Video sind unzulässig. Eine reine Textanalyse von Kundenrezensionen ohne biometrische Daten ist dagegen nicht erfasst; die Sentiment-Analyse von Kundengesprächen kann je nach Ausgestaltung unter die Transparenzpflichten fallen.

7. Biometrische Kategorisierung nach sensiblen Merkmalen (Art. 5 Abs. 1 lit. g)

Verboten ist die Kategorisierung von Personen anhand biometrischer Daten, um Rückschlüsse auf ethnische Herkunft, politische Meinungen, Gewerkschaftszugehörigkeit, religiöse oder weltanschauliche Überzeugungen, Sexualleben oder sexuelle Orientierung zu ziehen. Ausgenommen ist das Filtern rechtmäßig erworbener biometrischer Datensätze im Bereich der Strafverfolgung.

8. Biometrische Echtzeit-Fernidentifizierung (Art. 5 Abs. 1 lit. h)

Untersagt ist die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, außer in eng begrenzten Fällen (gezielte Suche nach Opfern bestimmter Straftaten, Abwehr einer konkreten Terrorgefahr, Lokalisierung von Verdächtigen schwerer Straftaten) und nur mit vorheriger Genehmigung und nationaler Rechtsgrundlage (Art. 5 Abs. 2 bis 7). Das Verbot richtet sich an Behörden; private Unternehmen sind über die Hochrisiko-Regeln und die DSGVO erfasst.

9. Neu ab 2. Dezember 2026: Nudification und Missbrauchsdarstellungen

Der Digital Omnibus on AI (VO (EU) 2026/1744) ergänzt Art. 5 KI-VO um ein Verbot von KI-Systemen zur Erzeugung nicht einvernehmlicher intimer Bilder („Nudification“) und von Darstellungen sexuellen Kindesmissbrauchs. Es gilt ab dem 2. Dezember 2026. Betroffen sind vor allem Anbieter und Betreiber von Bild- und Videogeneratoren, aber auch Plattformen, die solche Werkzeuge einbinden. Anbieter sollten ihre Schutzmechanismen (Filter, Missbrauchserkennung, Nutzungsbedingungen, Sperrprozesse) bis zu diesem Datum überprüfen. Strafrechtliche Verbote, etwa nach §§ 184b, 201a StGB, sowie zivilrechtliche Ansprüche wegen Verletzung des Persönlichkeitsrechts bestehen daneben fort (siehe Deepfakes und Persönlichkeitsrecht).

Leitlinien der Kommission vom Februar 2025

Die Europäische Kommission hat am 4. Februar 2025 Leitlinien zu den verbotenen KI-Praktiken veröffentlicht (C(2025) 884). Sie erläutern die Tatbestandsmerkmale mit zahlreichen Beispielen, grenzen die Verbote gegenüber zulässigen Anwendungen ab und klären Begriffe wie „Arbeitsplatz“, „Emotion“ oder „erheblicher Schaden“. Die Leitlinien sind nicht verbindlich; die verbindliche Auslegung bleibt dem Gerichtshof der Europäischen Union vorbehalten. In der Praxis orientieren sich Aufsichtsbehörden jedoch daran, sodass Ihre Prüfung die Leitlinien berücksichtigen sollte. Wichtige Klarstellungen betreffen unter anderem:

Die Emotionserkennung am Arbeitsplatz erfasst auch Bewerbungsverfahren.
Erkennen von Gesten oder physischen Zuständen wie Müdigkeit ist keine Emotionserkennung, solange keine Emotionen abgeleitet werden.
Verbote können auch durch die Verwendung allgemeiner Systeme verwirklicht werden; Anbieter von GPAI-basierten Systemen sollen geeignete Schutzmaßnahmen gegen absehbaren Missbrauch treffen.

Bußgeldrahmen

Verstöße gegen Art. 5 KI-VO können nach Art. 99 Abs. 3 KI-VO mit Geldbußen von bis zu 35 Mio. Euro oder bis zu 7 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres geahndet werden, je nachdem, welcher Betrag höher ist. Für KMU einschließlich Start-ups gilt der jeweils niedrigere Betrag (Art. 99 Abs. 6 KI-VO). Bei der Bemessung berücksichtigen die Behörden unter anderem Art, Schwere und Dauer des Verstoßes, Vorsatz oder Fahrlässigkeit und Maßnahmen zur Schadensminderung (Art. 99 Abs. 7 KI-VO). Zuständig ist in Deutschland nach dem KI-MIG die Bundesnetzagentur, im Finanzsektor die BaFin. Daneben drohen Bußgelder nach Art. 83 DSGVO, Unterlassungsansprüche von Wettbewerbern und Verbänden sowie Schadensersatzforderungen. Mehr unter Aufsicht und Bußgelder.

Praxishinweis: Das Verbot trifft auch den Betreiber. Wer ein zugekauftes Analysetool mit Emotionserkennung für Beschäftigte aktiviert, verstößt selbst gegen Art. 5 KI-VO, auch wenn der Hersteller die Funktion als Standardmerkmal anbietet.

Prüfung im Unternehmen

Verbote lassen sich nur einhalten, wenn bekannt ist, welche KI-Funktionen tatsächlich im Einsatz sind. Bewährt hat sich folgendes Vorgehen:

Bestandsaufnahme aller KI-Systeme einschließlich eingebetteter KI-Funktionen in Standardsoftware (HR-Suiten, Videokonferenz-, CRM- und Callcenter-Software).
Prüfung jedes Systems anhand der Verbotstatbestände mit einer einheitlichen Checkliste; besondere Aufmerksamkeit für Emotionserkennung, biometrische Funktionen, Scoring und personalisierte Ansprache.
Abschaltung oder vertraglicher Ausschluss verbotener Funktionen und Dokumentation der Konfiguration.
Verankerung des Ergebnisses im KI-Inventar und in der internen KI-Richtlinie.
Freigabeprozess für neue Tools und Updates mit Pflichtprüfung von Art. 5 KI-VO.
Schulung von Einkauf, IT, Personalabteilung und Marketing zu den praxisrelevanten Verboten.
Aufnahme von Zusicherungen und Kündigungsrechten in Lieferantenverträge.

Typische Fehler

Emotionserkennung wird als „Qualitätsmanagement“ oder „Coaching-Funktion“ bezeichnet und deshalb nicht geprüft.
Verbote werden nur für selbst entwickelte Systeme geprüft, nicht für Funktionen in eingekaufter Software.
Marketingautomatisierung wird ohne Blick auf die Ausnutzung von Schwächen schutzbedürftiger Zielgruppen eingeführt.
Anbieter generativer Bildwerkzeuge warten mit Schutzmaßnahmen gegen das neue Verbot bis kurz vor Dezember 2026.

So unterstützen wir Sie

Prüfung Ihrer KI-Systeme und Softwarefunktionen gegen alle Verbotstatbestände des Art. 5 KI-VO
Bewertung von Grenzfällen auf Grundlage der Kommissionsleitlinien mit schriftlicher Stellungnahme
Prüfung von Schutzmechanismen und Nutzungsbedingungen für Anbieter generativer Systeme
Gestaltung von Betriebsvereinbarungen und Lieferantenverträgen
Vertretung gegenüber Bundesnetzagentur, BaFin und Datenschutzaufsicht

Häufige Fragen

Dürfen wir die Stimmung von Kunden im Callcenter analysieren?

Das Verbot nach Art. 5 Abs. 1 lit. f KI-VO betrifft Arbeitsplatz und Bildungseinrichtungen, also die Beschäftigten. Die Analyse der Kundenstimme ist nicht verboten, kann aber als Emotionserkennungssystem eine Informationspflicht nach Art. 50 Abs. 3 KI-VO auslösen, unter Anhang III Nr. 1 lit. c KI-VO als Hochrisiko-System fallen und ist nach der DSGVO zu prüfen. Sobald das System zugleich die Stimme der Beschäftigten auswertet, greift das Verbot.

Gilt das Verbot auch, wenn Beschäftigte eingewilligt haben?

Die KI-Verordnung sieht für Art. 5 Abs. 1 lit. f keine Ausnahme bei Einwilligung vor. Zulässig sind nur Einsätze aus medizinischen oder Sicherheitsgründen. Die bloße Erkennung physischer Zustände wie Übermüdung, etwa bei Berufskraftfahrern, ist nach den Kommissionsleitlinien schon keine Emotionserkennung.

Was passiert, wenn wir eine verbotene Funktion bereits nutzen?

Sie sollten die Funktion umgehend deaktivieren, den Umfang der Nutzung dokumentieren und prüfen, ob personenbezogene Daten gelöscht werden müssen. Ein frühzeitiges, dokumentiertes Abstellen wirkt sich bei der Bemessung eines Bußgelds aus. Wir empfehlen, das Vorgehen rechtlich zu begleiten.

Betreffen die Verbote auch Forschung und Entwicklung?

Die KI-Verordnung gilt nicht für Forschungs-, Test- und Entwicklungstätigkeiten vor dem Inverkehrbringen oder der Inbetriebnahme (Art. 2 Abs. 8 KI-VO); Tests unter realen Bedingungen sind davon nicht ausgenommen. Für ausschließlich wissenschaftliche Zwecke gilt Art. 2 Abs. 6 KI-VO.