1. Vorbereitung und Zielsetzung

Was passiert?

• Das Unternehmen und die Auditoren klären, was geprüft werden soll:
  • Arbeitet die KI fair und zuverlässig?
  • Werden die Datenschutzvorschriften (z. B. DSGVO) eingehalten?
  • Gibt es Risiken oder Schwachstellen?

Beispiel:
Das Audit soll prüfen, ob die KI Bewerber benachteiligt (z. B. wegen des Geschlechts oder der Herkunft) und ob Bewerberdaten rechtmäßig verarbeitet werden.

2. Datensammlung und Dokumentenprüfung

Was passiert?

• Die Auditoren fordern relevante Unterlagen an, etwa:
  • Beschreibung der KI-Software und ihrer Algorithmen,
  • Informationen zu den Trainingsdaten,
  • Datenschutzhinweise und Nachweise zur Rechtsgrundlage der Verarbeitung,
  • Verträge mit Softwareanbietern.

Beispiel:
Das Unternehmen legt eine Übersicht der Trainingsdaten vor, mit denen die KI trainiert wurde. Die Auditoren prüfen, ob diese Daten rechtmäßig beschafft wurden und ob sie Verzerrungen enthalten, etwa eine Bevorzugung bestimmter Gruppen.

3. Technische Prüfung

Was passiert?

• Die Auditoren analysieren die Technik der KI:
  • Welche Daten nutzt sie?
  • Wie trifft sie Entscheidungen?
  • Gibt es Sicherheitsrisiken?

Beispiel:
Die Auditoren testen die KI mit anonymisierten Bewerberdaten. Sie prüfen, ob das System Bewerber mit ausländisch klingenden Namen oder Frauen systematisch schlechter bewertet.

4. Datenschutzprüfung

Was passiert?

• Die Auditoren prüfen, ob personenbezogene Daten rechtmäßig verarbeitet werden:
  • Werden die Daten nur für den vorgesehenen Zweck genutzt?
  • Besteht eine Rechtsgrundlage für die Verarbeitung, und werden die Bewerber ausreichend informiert?
  • Werden die Daten sicher gespeichert und fristgerecht gelöscht?

Beispiel:
Die Auditoren stellen fest, dass die Bewerberdaten für das Auswahlverfahren zulässig verarbeitet werden, das System sie nach Abschluss des Verfahrens aber nicht löscht. Das kann gegen den Grundsatz der Speicherbegrenzung der DSGVO verstoßen.

5. Bewertung der Ergebnisse

Was passiert?

• Die Auditoren erstellen einen Bericht, der Schwachstellen aufzeigt und Abhilfemaßnahmen vorschlägt:
  • Gibt es technische oder rechtliche Mängel?
  • Welche Maßnahmen sind erforderlich?

Beispiel:
Der Bericht stellt fest, dass die Trainingsdaten eine Verzerrung zugunsten männlicher Bewerber enthalten. Außerdem muss die Löschung der Daten nach Abschluss des Bewerbungsverfahrens automatisiert werden.

6. Nachbesserungen und Abschluss

Was passiert?

• Das Unternehmen setzt die empfohlenen Maßnahmen um.
• Die Auditoren prüfen, ob alle Mängel behoben wurden.

Beispiel:
Das Unternehmen bereinigt die Trainingsdaten und trainiert die KI neu, um Diskriminierung zu vermeiden. Außerdem wird eine automatische Löschfunktion eingerichtet.

The post Ablauf eines KI-System-Audits am Beispiel einer Rekrutierungs-KI first appeared on KI Recht: Recht für künstliche Intelligenz.

Arten von Bias

Kognitiver Bias

Damit sind systematische Denkfehler gemeint, die Menschen bei der Verarbeitung von Informationen unterlaufen. Ein Beispiel ist der Bestätigungsfehler (Confirmation Bias): Menschen suchen oder deuten Informationen so, dass sie ihre bestehenden Überzeugungen bestätigen.

Statistischer Bias

In der Statistik bezeichnet Bias eine systematische Verzerrung der Ergebnisse einer Studie oder Analyse. So kann eine Stichprobe, die für die Grundgesamtheit nicht repräsentativ ist, zu verzerrten Ergebnissen führen.

Medienbias

Dies beschreibt eine Voreingenommenheit in der Berichterstattung, bei der bestimmte Perspektiven über- oder unterrepräsentiert sind.

Algorithmischer Bias

In der KI und im maschinellen Lernen bezeichnet dies Verzerrungen, die in Algorithmen entstehen, häufig aufgrund verzerrter Trainingsdaten. Wird ein Algorithmus mit Daten trainiert, die Vorurteile oder Ungleichheiten enthalten, kann er diese reproduzieren und verstärken.

Ursachen von Bias

Bias kann verschiedene Ursachen haben:

Datenverzerrung

Die Daten, mit denen ein Modell trainiert wird, sind nicht repräsentativ oder enthalten Vorurteile.

Voreingenommenheit der Entwickler

Persönliche Überzeugungen und Erfahrungen der Entwickler können unbeabsichtigt in das Design und die Umsetzung von Algorithmen einfließen.

Soziale und kulturelle Faktoren

Gesellschaftliche Normen und Werte können beeinflussen, wie Daten gesammelt und interpretiert werden.

Folgen von Bias

Bias kann erhebliche negative Auswirkungen haben:

Diskriminierung

In KI-Anwendungen kann algorithmischer Bias dazu führen, dass bestimmte Gruppen benachteiligt werden (z. B. bei Kreditentscheidungen oder Einstellungsverfahren).

Fehlentscheidungen

Verzerrte Daten können zu falschen Schlussfolgerungen führen und Entscheidungen beeinflussen, die auf diesen Analysen beruhen.

Vertrauensverlust

Erkennen Menschen, dass Systeme voreingenommen sind, kann dies das Vertrauen in Technologien und Institutionen beeinträchtigen.

Umgang mit Bias

Um Bias zu verringern oder zu beseitigen, kommen verschiedene Maßnahmen in Betracht:

1. Vielfalt in Datensätzen: Trainingsdaten sollten vielfältig und repräsentativ sein.
2. Transparenz: Die verwendeten Datenquellen und Algorithmen sollten offengelegt werden.
3. Regelmäßige Überprüfung: Algorithmen sollten regelmäßig auf Verzerrungen geprüft werden.
4. Interdisziplinäre Zusammenarbeit: Techniker, Ethiker und Sozialwissenschaftler können gemeinsam mögliche Vorurteile frühzeitig erkennen.

The post Bias kurz erklärt first appeared on KI Recht: Recht für künstliche Intelligenz.