Werfen wir einen Blick auf drei wichtige Maßnahmen zur Unterstützung der KI-Governance die gleichzeitig bei der Einhaltung von Gesetzen wie dem EU AI Act helfen werden.
Warum sich die Mühe machen?
Den eigenen Kunden KI-basierte Produkte anzubieten oder sogar ein innovatives KI-Produkt von Grund auf neu zu entwickeln ist eine tolle Sache. Aber in dem Moment, in dem die KI an Partner und Kunden weitergeben wird, ist die Katze aus dem Sack. Ab diesem Zeitpunkt muss sie jenen Qualitätsstandards entsprechen, die von den Nutzern und der Öffentlichkeit erwartet werden. Und im Live-Betrieb werden einige Dinge auftauchen, für die während der Entwicklung keine Zeit war oder die den Entwicklern nicht bewusst waren.
Im wirklichen Leben wird diese KI angegriffen und auf Herz und Nieren ausgetestet werden. Und sobald dann Qualitätprobleme auftauchen, muß der Hersteller in der Lage sein, diese auch zu beheben - sonst ist er möglicherweise schnell aus dem Geschäft.
Obwohl man sich nicht im Voraus auf alles was potentiell schief geht vorbereiten kann, gibt es dennoch einige Maßnahmen, die zur Vorbereitung getroffen werden sollten.
Denn die Einrichtung von Richtlinien und Prozessen, um zu verhindern, dass Dinge schief gehen, ist ein wichtiger Bestandteil der KI-Governance jedes Unternehmens.
Verpflichtungen
KI ist High-Tech. Jedes derartige System, das entweder direkt oder indirekt von Endbenutzern verwendet wird, muss als Minimalanforderung dem Stand der Technik entsprechen.
Während “Stand der Technik” eher lose definiert ist und sich im Laufe der Zeit weiterentwickelt, gibt es auch feste, vom Gesetzgeber erlassene Vorschriften und Gesetze. Für KI werden solche Regeln derzeit von Regulierungsbehörden in Europa und den USA ausgearbeitet, sind aber derzeit noch nicht rechtsverbindlich (Stand Herbst 2023). Dennoch nehmen die folgenden Top-3-Prioritäten diese Vorschriften vorweg und sind in jedem Fall zur Umsetzung empfohlen.
Und schließlich muss jedes Unternehmen regelmäßig mögliche eigene Risiken bewerten und Maßnahmen zu deren Bewältigung ergreifen. Dies gilt auch für KI-Risiken.
Auch die Verbraucherschützer behalten – wie jedes andere Produkt, das von Verbrauchern verwendet wird – KI-Produkte im Auge. Der Verbraucherschutz könnte sich zum Beispiel beschweren, wenn Ihr “KI-basiertes” Produkt in der Realität gar keine KI enthält. Sie sollten auch vermeiden, Eigenschaften Ihres KI-gesteuerten Produkts zu bewerben, die nicht wirklich vorhanden sind oder nicht richtig funktionieren. Die U.S.-Verbraucherbehörde “FTC” ist in einzelnen solcher Fälle bereits tätig geworden.
1. Alle Trainingsdaten und Modelle aufbewahren
Angenommen, Ihre Kunden kontaktieren Sie und berichten, dass Ihr KI-Modell einen Bias aufweist, ein bekanntes Problem mit KI. Ein Bias bedeutet, dass bestimmte Nutzer oder Eigenschaften zu unfairen oder inkonsistenten Ergebnissen führen. Diese Behauptung kann nun auch mit einer verfügbaren Kopie des Modells reproduziert werden. Was nun?
Bias ensteht zur Trainingszeit. Sie müssen also zumindest Ihre Trainingsdaten prüfen. Das Problem könnte aber auch Teil eines Datensatzes sein, aus dem Ihre tatsächlichen Trainingsdaten abgeleitet wurden. Um dies zuverlässig verifizieren zu können, müssen Sie in der Lage sein, auf genau diese ursprünglichen Datensätze zuzugreifen und sie identifizieren zu können. Bewahren Sie daher auf jeden Fall alle Daten auf, die Sie für die Herleitung produktiver Modelle verwendet haben. Führen Sie eine gute Aufzeichnung der Daten- und Modellherkunft, so dass die Eingabedaten zumindest referenziert werden. Wenn sich Datensätze häufig ändern, so bewahren Sie eine Kopie jeder Revision auf, die im KI-Training verwendet wird. Hierbei können auch Open-Source-Produkte wie mlflow helfen.
Nur so können Sie die Ursache eines mit den Trainingsdaten eingeführten Modellfehlers eindeutig identifizieren und beheben.
2. Dokumentation: Model Card oder System Card erstellen
Eine minimale Dokumentation ist hilfreich und findet ihre Leser. Lange Handbücher mit Dutzenden von Seiten werden in der Regel nicht gelesen. Für die KI wurde deswegen ein kurzer Dokumentationsstil - genannt ‘Model Card’ - vorgeschlagen und wird in der Praxis erfreulicherweise zunehmend verwendet. Eine Model Card ist im Idealfall ein One-Pager und ähnlich wie ein Datenblatt strukturiert. Sie erfasst alle wichtigen Informationen über das KI-Modell.
Eine Model Card beginnt mit der Identifizierung des Modells (Name, Release-Nummer, Erstellungsdatum), mit wem man Kontakt aufnehmen kann, einem Copyright-Hinweis, der Lizenz, unter der das KI-Modell vertrieben wird, und weiteren wichtigen Eigenschaften. Wenn das Modell von übergeordneten Modellen abgeleitet wurde oder bestimmte Arten von KI zur Anwendung kamen, sollten diese Informationen in die Model Card aufgenommen werden.
Direkt darauf folgt der Zweck und die beabsichtigte Verwendung des Modells. Dies sollte den Anwendern ein gutes Verständnis dafür vermitteln, was von diesem Modell erwartet werden kann und was wahrscheinlich nicht funktionieren wird. Auf der Model Card könnten sogar bestimmte Verwendungszwecke explizit ausgeschlossen werden und damit die Haftung reduziert werden.
Einige Model Cards geben Details über die verwendeten Trainingsdaten an. Dies ist eine vertrauensbildende Form der Transparenz. Sie gibt einen Einblick in die Qualität der zugrunde liegenden Daten sowie in den Aufwand, der in die Zusammenstellung der Eingabe-Daten des Modells gesteckt wurde.
Darüber hinaus sollten dem Dokument einige Metriken und weitere Eigenschaften hinzugefügt werden. Es ist kein Problem, wenn diese sehr technisch sind und nur von Data Scientists verstanden werden.
Für komplette KI-Systeme, d.h. die KI-Modelle zusammen mit den ganzen anderen Softwarekomponenten, die es überhaupt erst nutzbar machen, könnte auch die Erstellung einer System Card sinnvoll sein. Das ist eine umfangreichere Dokumentation als es eine Model Card darstellt. Sie erfasst weitere wichtige Eigenschaften des KI-Produkts.
Für jedes KI-Modell sollte aber mindestens die Model Card erstellt werden.
3. Überwachen Sie Ihr Produktionssystem
Beim Entwurf eines KI-Modells ist es nicht möglich, jede mögliche Verwendung - oder jeden Missbrauch - durch einen kreativen Endbenutzer im Voraus zu antizipieren. Daher ist die ständige Beobachtung von Produktionssystemen wichtig. Jede Inferenz-Operation sollte in ein Log der Eingaben zusammen mit den Ausgaben geschrieben werden – was möglicherweise sowieso bereits passiert, um das Training zukünftiger Modelle zu verbessern. Regelmäßige, vielleicht tägliche, Überprüfung dieser Inferenz-Protokolle sollte Fehler oder Missbrauch schnell aufdecken. Unternehmen können haftbar gemacht werden, wenn sie nicht handeln, sobald von ihren KI-Modellen böswillige Antworten erzeugt werden. Mit den Log-Aufzeichnungen kann ein Produktionsteam Probleme frühzeitig erkennen und entsprechend reagieren.
Es kann sogar ratsam sein, einen “großen roten Notfallknopf” zu haben, um das KI-System abzuschalten, sobald Dinge wirklich schief gehen. Es ist unter entsprechenden Umständen besser, allen Benutzern einen Fehler zurückzugeben, als ihnen und dem Unternehmen noch mehr Schaden zuzufügen.
Einige KI-Systeme setzen sogar Künstliche Intelligenz ein, um dieses Problem zu lösen: Durch Hinzufügen eines weiteren speziellen KI-Modells, welches als Echtzeit-Watch-Dog über die Hauptnutzung wacht. In diesem Fall ist KI selbst die erste Verteidigungslinie.
Bonus: Was noch?
Natürlich kann man immer noch mehr tun. Ein Risikomanagement-Audit, mehr Tests, Datenqualitätsprüfungen und so weiter. Die Anwendung von KI-Risk-Frameworks hilft, alle potenziellen Probleme systematisch abzudecken. Ein Reaktionsplan für den Ernstfall kann helfen, wenn ein KI-System aus dem Ruder läuft.
Die Einrichtung der oben beschriebenen Top-3-Maßnahmen (Daten speichern, eine Model Card haben, Produktion überwachen) ist die Grundlage für alle zukünftigen Governance-Verbesserungen. Und welche Regelungen auch immer von den Parlamenten und Regierungen beschlossen werden, alle drei werden Sie bei der Entwicklung einer gesetzes-konformen KI unterstützen.