KI-System-Audit

Mit einem Audit prüfen Sie, ob ein KI-System rechtlich, ethisch und technisch den Anforderungen entspricht. Geprüft werden die Einhaltung gesetzlicher Vorgaben, technischer Standards, ethischer Grundsätze und vertraglicher Anforderungen. Im Folgenden stellen wir die rechtlichen und tatsächlichen Aspekte dar.

1. Ziel und Umfang der Auditierung

1.1 Ziel

  • Sicherheit: Vermeidung von Fehlfunktionen und Sicherheitsrisiken.
  • Rechtskonformität: Prüfung der Einhaltung gesetzlicher Vorgaben, z. B. DSGVO, KI-Verordnung (AI Act) und Produkthaftungsrecht.
  • Ethische Standards: Fairness, Transparenz und Nichtdiskriminierung.
  • Nachvollziehbarkeit: Entscheidungen der KI müssen erklärbar und nachvollziehbar sein (erklärbare KI).

1.2 Umfang

  • Technische Aspekte: Architektur, Algorithmen, Datensätze, Ergebnisse.
  • Rechtliche Aspekte: Datenschutz, Produkthaftung, Urheberrecht, Lizenzrecht.
  • Organisatorische Aspekte: Prozesse, Verantwortlichkeiten, Dokumentation.

2. Rechtliche Aspekte der Auditierung

2.1 Datenschutzrecht

  • DSGVO:
    • Rechtmäßigkeit der Verarbeitung personenbezogener Daten (Art. 6 DSGVO).
    • Informationspflichten (Art. 13, 14 DSGVO).
    • Bewertung von Datenschutz-Folgenabschätzungen (Art. 35 DSGVO).
    • Rechte der Betroffenen, z. B. Auskunft und Löschung.
  • Beispiel: Ein KI-System verarbeitet Kundendaten für personalisierte Empfehlungen. Zu prüfen ist, ob die erforderlichen Einwilligungen wirksam eingeholt wurden.

2.2 Produkthaftung

  • Produkthaftungsrichtlinie 85/374/EWG (in Deutschland umgesetzt durch das Produkthaftungsgesetz) und die neue Produkthaftungsrichtlinie (EU) 2024/2853, die Software ausdrücklich erfasst:
    • Erkennen von Fehlern, die Schäden verursachen können.
    • Haftung von Entwickler, Hersteller oder Betreiber bei fehlerhafter KI.

2.3 KI-Verordnung (AI Act)

  • Die KI-Verordnung (EU) 2024/1689 ist seit 1. August 2024 in Kraft; ihre Pflichten gelten gestaffelt. Sie unterscheidet:
    • Risikostufen: verbotene Praktiken (unannehmbares Risiko), Hochrisiko-KI-Systeme, KI-Systeme mit Transparenzpflichten und KI-Systeme mit minimalem Risiko.
    • Anforderungen an Hochrisiko-KI-Systeme (z. B. biometrische Identifizierung):
      • Datenqualität.
      • Dokumentation und Nachvollziehbarkeit.
      • Robustheit und Sicherheit.

2.4 Urheberrecht

  • Prüfung der Trainingsdaten:
    • Verletzung von Urheberrechten bei der Verwendung geschützter Werke.
    • Rechte an den Ergebnissen der KI (fehlende menschliche Schöpfung).

2.5 Wettbewerbsrecht

  • Prüfung auf unlauteren Wettbewerb durch KI-Systeme:
    • Täuschung, z. B. durch Deepfakes.
    • Marktmacht durch unverhältnismäßige Datensammlung.

2.6 Haftung

  • Haftungsmodelle:
    • Entwicklerhaftung: für fehlerhafte Algorithmen.
    • Betreiberhaftung: für den Einsatz der KI in konkreten Anwendungen.
    • Nutzerhaftung: für die Verwendung der Ergebnisse.

3. Tatsächliche Aspekte der Auditierung

3.1 Datenqualität

  • Prüfung der Trainingsdaten:
    • Qualität und Relevanz der Daten.
    • Analyse von Verzerrungen (Bias), um Diskriminierung zu vermeiden.
  • Beispiel: Eine KI zur Bewerberauswahl wird darauf geprüft, ob sie bestimmte Gruppen systematisch benachteiligt.

3.2 Algorithmen

  • Technische Prüfung:
    • Robustheit und Sicherheit des Algorithmus.
    • Fehleranfälligkeit und Manipulationsrisiken.
    • Nachvollziehbarkeit und Fairness.
  • Verzerrungen und Diskriminierung:
    • Prüfung, ob Ergebnisse bestimmte Personen oder Gruppen benachteiligen.

3.3 Systemarchitektur

  • Robustheit und Sicherheit:
    • Prüfung der IT-Sicherheitsmaßnahmen gegen Manipulation und Angriffe.
  • Skalierbarkeit und Effizienz:
    • Analyse der Leistungsfähigkeit in unterschiedlichen Anwendungsszenarien.

3.4 Ergebnisse und Folgen

  • Prüfung der Ergebnisse:
    • Genauigkeit und Verlässlichkeit.
    • Risiken durch Fehlentscheidungen.
  • Beispiel: Eine medizinische KI wird auf ihre Diagnosegenauigkeit und deren Auswirkungen geprüft.

4. Durchführung der Auditierung

4.1 Typische Phasen

  1. Planung:
    • Festlegung von Ziel und Umfang des Audits.
    • Ermittlung der Rechtsgrundlagen und Standards.
  2. Daten- und Systemprüfung:
    • Technische Analyse der Datensätze und Algorithmen.
    • Prüfung der Rechtskonformität.
  3. Bewertung und Dokumentation:
    • Erstellung eines Auditberichts mit Empfehlungen.
  4. Nachverfolgung:
    • Umsetzung der Empfehlungen.

4.2 Beteiligte

  • Unternehmen: Betreiber, Entwickler, Datenverantwortliche.
  • Externe Prüfer: Fachleute für Recht, Technik und Ethik.
  • Behörden: Datenschutzaufsichtsbehörden, Marktüberwachungs- und Produktsicherheitsbehörden. Für die KI-Verordnung ist in Deutschland nach dem KI-MIG die Bundesnetzagentur zentrale Marktüberwachungsbehörde, für den Finanzsektor die BaFin.

5. Typische Verträge und Vereinbarungen

  • Auftragsverarbeitungsverträge (Art. 28 DSGVO): Klärung der Verantwortlichkeiten bei der Datenverarbeitung.
  • Audit-Klauseln: Verträge mit Dienstleistern sollten Prüfrechte enthalten.
  • Service Level Agreements (SLA): Festlegung von Sicherheits- und Leistungsstandards.
  • Vertraulichkeitsvereinbarungen (NDA): Schutz sensibler Daten während der Auditierung.

6. Relevante Urteile und Rechtsvorschriften

  • EuGH, C-311/18 („Schrems II“): Anforderungen an die Übermittlung personenbezogener Daten in Drittländer, auch beim Einsatz von KI-Systemen.
  • Produkthaftungsrichtlinie (85/374/EWG) und (EU) 2024/2853: Haftung für fehlerhafte Produkte, einschließlich KI-Systemen.
  • KI-Verordnung (EU) 2024/1689: Anforderungen an Hochrisiko-KI-Systeme.

7. Weitere Entwicklungen

  • KI-Verordnung: Die Pflichten gelten gestaffelt. Verbote und die KI-Kompetenz (Art. 4) gelten seit 2. Februar 2025, die Pflichten für KI-Modelle mit allgemeinem Verwendungszweck seit 2. August 2025; seit 2. August 2026 gilt die Verordnung allgemein, einschließlich der Transparenzpflichten nach Art. 50. Durch den Digital Omnibus (Verordnung (EU) 2026/1744, in Kraft seit 27. Juli 2026) gelten die Hochrisiko-Pflichten für Systeme nach Anhang III erst ab 2. Dezember 2027 und für KI in Produkten nach Anhang I ab 2. August 2028; Unternehmen müssen die KI-Kompetenz ihrer Beschäftigten nach Art. 4 fördern. Einzelheiten unter AI-Act-Fristen.
  • Technische Normen: Entwicklung einheitlicher Prüfstandards für Algorithmen und Datenqualität.
  • Erklärbarkeit und Transparenz: wachsende Bedeutung erklärbarer KI für Vertrauen und Akzeptanz.
  • Ethische Leitlinien: zunehmende rechtliche Verankerung ethischer Grundsätze beim Einsatz von KI.

8. Unsere Leistungen bei der Auditierung von KI-Systemen

  1. Rechtliche Prüfung:
    • Analyse der DSGVO-Konformität.
    • Bewertung von Haftungsrisiken und Produktsicherheit.
  2. Vertragsgestaltung:
    • Entwurf rechtssicherer Audit-Klauseln und Vereinbarungen.
  3. Beratung zu KI-Standards:
    • Unterstützung bei der Umsetzung der Anforderungen des AI Act und anderer Vorschriften.
  4. Schulungen und Workshops:
    • Information von Unternehmen über rechtliche Risiken und Auditverfahren.
  5. Vertretung bei Streitigkeiten:
    • Vertretung in behördlichen Verfahren und Rechtsstreitigkeiten.

Wir begleiten Unternehmen, Behörden und Organisationen bei der rechtlichen und tatsächlichen Prüfung ihrer KI-Systeme, damit Sie Risiken verringern und die rechtlichen Anforderungen erfüllen.

Nach oben scrollen