Verlässlichkeit von KI-Systemen: "Wir machen eine komplexe Aufgabe greifbar"

Wenn sich die Regeln des AI ACT als wirksam erweisen, wird sich das auch positiv auf das Vertrauen in KI-Anwendungen auswirken – und die demokratische Gesellschaft schützen. Wer jetzt eine neue KI-Anwendung aufsetzen will, ist gut beraten, die Frage nach der „Verlässlichkeit“ bereits mit zu bedenken.

Was bedeutet „verlässlich“ im KI-Kontext?

Man spricht von einer „verlässlichen“ KI-Anwendung, wenn sie datenschutzkonform aufgebaut ist, vorurteilsfreie und nachvollziehbare Entscheidungen trifft und durch den Menschen kontrollierbar ist. Das sieht der AI ACT vor, der noch in diesem Jahr oder spätestens 2023 in Kraft treten wird. Der AI ACT will dazu beitragen, dass KI-Anwendungen gegen Risiken abgesichert sind: Wenn beispielsweise eine KI-Anwendung diskriminierend ist und somit Persönlichkeitsrechte verletzt, könnten der Firma, die sie entwickelt hat, oder der Organisation, die sie bereitstellt, Klagen drohen. Um solche Risiken zu minimieren, müssen die Systeme im Sinne der Definition von „verlässlicher KI“ aufgebaut sein und arbeiten. 

Projektleiter, Stakeholder und Lenkungsausschüsse müssen sich also mit den Anforderungen an eine verlässliche KI befassen. Denn am Ende sind sie diejenigen, die die Verantwortung für das Projekt tragen und zur Rechenschaft gezogen werden, falls etwas schief geht. Um die Risiken zu minimieren, empfiehlt es sich, KI-Systeme bzw. KI-Projekte zu auditieren. 

Durch den Einsatz neuer und kreativer Prüfverfahren lässt sich gewährleisten, dass die Trainingsdaten kein Bias beinhalten und dass das System das gewünschte Entscheidungsverhalten gelernt hat – sowie ebenso, dass das System in der realen Welt – und nicht nur unter Laborbedingen – richtig funktioniert.

Sechs Dimensionen für verlässliche KI 

msg hat ein solches Prüfverfahren entwickelt. Es orientiert sich an dem „Leitfaden zur Gestaltung vertrauenswürdiger Künstlicher Intelligenz“ von Fraunhofer IAIS, der sechs Dimensionen identifiziert, die für ein KI-System relevant sein können. Der erste Schritt ist also zu klären, welche dieser sechs Dimensionen für die jeweilige Anwendung von Bedeutung sind. Dabei geht es um folgende Punkte:

• 1. „Fairness“: Ist die Gleichbehandlung aller Nutzerinnen und Nutzer der KI-Anwendung sichergestellt?
• 2. „Autonomie und Kontrolle“: Haben die Nutzerinnen und Nutzer Kontrollmöglichkeiten über das KI-System? Können sie eingreifen und Entscheidungen revidieren?
• 3. „Erklärbarkeit“: Produziert das KI-System nachvollziehbare und erklärbare Resultate?
• 4. „Robustheit“: Wie stabil ist die KI-Anwendung?
• 5. „Sicherheit“: Ist das System vor einem unbefugten Zugriff geschützt?
• 6. „Datenschutz“: Sind die personenbezogenen Daten geschützt? 

In manchen Fällen ist es zweckmäßig, nicht alle Menschen gleich zu behandeln, sondern etwa Menschen mit Behinderung zu bevorzugen. Andere verarbeiten keine personenbezogenen Daten, weswegen die Dimension Datenschutz an Relevanz verliert. Oder: Anwendungen, die lediglich Musikstücke empfehlen, müssen nicht unbedingt erklärbar sein. 

Hat man die für den jeweiligen Fall relevanten Dimensionen ausgemacht, ist zu untersuchen, welche Risiken in Bezug auf die einzelnen Dimensionen bestehen. Dafür stellen wir in unserem Prüfverfahren detaillierte Fragebögen, die alle Aspekte abklopfen. So entsteht ein klares Profilbild und eine Bewertung, aus der sich Handlungsempfehlungen ableiten lassen.

Prüfverfahren für transparente KI-Anwendungen

Bei der Dimension Robustheit zum Beispiel muss man sich mit Aspekten wie diesen befassen: Wird dokumentiert und begründet, welche Metriken zur Bewertung der Robustheit herangezogen werden? Wurden qualitative Anforderungen an die Daten formuliert? Werden in Bezug auf die Datenqualität folgende Kriterien berücksichtigt:  technische Anforderungen, Vollständigkeit der Daten, Wahrheitsgehalt der Daten, Korrektheit von Annotationen/Labels? Unser Prüfverfahren listet über 250 solcher Fragen (oder Aspekte), die betrachtet werden müssen. Nur dann kann man sich ein akkurates Bild von der Verlässlichkeit des KI-Systems verschaffen, Schwachpunkte identifizieren, um diese dann natürlich auch zu beheben.

Unser Prüfverfahren bringt Klarheit, Transparenz und Auditfähigkeit von KI-Anwendungen. Wir haben die Dimensionen der Verlässlichkeit von KI-Systemen operationalisiert und machen damit eine äußerst komplexe Aufgabe greifbar. Aus der Relevanz-Analyse hinsichtlich der Dimensionen und Aspekte sowie der daraus folgenden Risiko-Analyse lassen sich die Schwächen erkennen und ein Profil sowie letztlich eine Bewertung erstellen. Zu den identifizierten Schwachpunkten formulieren wir klare Handlungsempfehlungen. Die Ergebnisse fassen wir in einem Abschlussbericht zusammen. Dieser kann auch als Grundlage für Projektprüfungen und Audits dienen.