Vertrauenswürdige KI – verlässlich und berechenbar

Zunächst ist Vertrauen eine zutiefst menschliche Angelegenheit. Wir vertrauen dem Busfahrer, dass er uns sicher ans Ziel bringt – doch wie ist das mit dem Bus? Vertrauen wir ihm ebenso wie einem Menschen? Oder muss die Technologie einfach nur zuverlässig funktionieren? Und wie ist das, wenn künstliche Intelligenz (KI) das Steuer übernimmt?

"Ja, Vertrauen lässt sich direkt auf KI übertragen", meint Petar Tsankov, CEO und Mitbegründer von LatticeFlow AI. Das Spin-off der ETH Zürich unterstützt Unternehmen dabei, vertrauenswürdige, zuverlässige und leistungsfähige KI für reale Anwendungen zu entwickeln. Vertrauen in KI entsteht, wenn die KI-Modelle in verschiedenen Umfeldern konsistent und fehlerfrei antworten sowie zuverlässig entscheiden. Wenn Nutzende erleben, dass eine KI vorhersehbar und verlässlich funktioniert, beginnen sie ihr zu vertrauen – genauso wie bei einer zuverlässigen Person. Dass KI zuverlässig sei und für neue, unbekannte Daten gut funktioniere, sei der erste und wichtigste Schritt zum Vertrauen. Entscheidend sei, dass eine KI nicht nur in kontrollierten Laborumgebungen funktioniere, sondern mit realen Daten konsistente Antworten liefere. "Allzu oft bleiben KI-Modelle unter den Erwartungen, wenn sie realen Bedingungen ausgesetzt sind. Das untergräbt das Vertrauen."

Margarita Boenig-Liptsin pflichtet Tsankov bei, dass Menschen einer Technologie vertrauen können. Als ETH-Professorin für Ethik, Technologie und Gesellschaft untersucht sie, wie sich soziale Werte und der Wandel digitaler Technologien, einschliesslich der KI, gegenseitig beeinflussen und zusammen weiterentwickeln. Der springende Punkt ist für sie, dass Vertrauen relational ist, also mit Beziehungen zu tun hat. Menschen beziehen ihr Vertrauen sowohl auf andere Personen als auch auf eine Institution oder auf ein technisches Gerät. Im Kern geht es um die Frage: Kann ich mich auf dich verlassen? Dabei bezieht sich dieses "dich" in hochentwickelten technologischen Gesellschaften in der Regel auf die menschliche und technologische Handlungsfähigkeit, da sie zusammenwirken.

Ihr Vertrauensbegriff berücksichtigt ganze Beziehungsnetze: "Vertrauenswürdigkeit ist nicht nur eine Eigenschaft der Technologie, sondern des gesamten sozialen und technischen Umfelds, in das sie eingebettet ist", sagt Boenig-Liptsin. Dieses Umfeld umfasst Designerinnen und Designer, Nutzende oder Institutionen. "Um die Vertrauenswürdigkeit einer KI zu beurteilen, müssen wir sie aus den Perspektiven verschiedener Anspruchsgruppen betrachten." Diese Betrachtungsweise lenkt den Blick nicht nur auf die Entwicklung und Anwendung, sondern auch auf die Auswirkungen auf Wissen und Verantwortung.  "Diese sozio-technische Systembetrachtung liefert wichtige Impulse für KI-Forschende, die vertrauenswürdige Modelle entwickeln möchten. Wenn die Forschenden Transparenz herstellen und sich mit den Beteiligten über die Merkmale, Grenzen und Möglichkeiten eines Modells austauschen, erhalten sie wertvolle Hinweise, wie die neue KI die Vertrauensbeziehungen im System beeinflusst und welche Änderungen sie selbst vornehmen können."

Für Alexander Ilic, dem Geschäftsführer des ETH AI Center, kommt Vertrauenswürdigkeit dann ins Spiel, wenn Technologie und Gesellschaft aufeinandertreffen. "Die tiefgreifenden Veränderungen durch KI sind noch nicht abgeschlossen. In der nächsten Phase geht es darum, das Potenzial firmeninterner Daten in verschiedenen Branchen zu erschliessen und hochgradig personalisierte KI-Begleiter zu entwickeln, die uns bei komplexen Aufgaben unterstützen. Gleichzeitig müssen wir über die Auswirkungen dieser neuen Möglichkeiten auf die Anwenderinnen und Anwender nachdenken und überlegen, wie wir Vertrauen in KI schaffen, damit das Unbehagen vor den Risiken der KI nicht deren Vorteile überschattet." Um Risiken zu erkennen, werden sie am ETH AI Center offen zwischen den Forschenden und unter Einbezug verschiedener Gruppen diskutiert.

Offenheit als Schlüssel

Für Andreas Krause, Professor für Informatik und Vorsteher des ETH AI Center, ist Offenheit ein Schlüssel zum Vertrauen: "Wir KI-Forschende können Vertrauen nicht erzwingen. Wir können Transparenz schaffen, indem wir die verwendeten Daten offenlegen und erklären, wie die KI-Modelle entwickelt werden." Krause erforscht neue Ansätze, die Unsicherheiten in KI-Modellen einschätzen können, damit diese besser erkennen, was sie nicht wissen.  Die Einschätzung solcher Unsicherheiten ist wichtig für das Vertrauen in KI, beispielsweise, um sogenannte Halluzinationen leichter auszumachen.

Alexander Ilic ergänzt: "Am ETH AI Center arbeiten wir mit offenen Grundlagen, die unabhängige Parteien prüfen und begutachten können." Wahre Reallabore der offenen KI-Entwicklung sind die Swiss AI Initiative und das Swiss National AI Institute: Hier entwickeln über 650 Forschende der ETH Zürich, der EPF Lausanne und zehn weiteren inländischen Hochschulinstituten ein grosses Schweizer Sprachmodell und die nächste Generation von Basismodellen. Damit schaffen sie die Grundlage für generative KI nach Schweizer Werten.  Offenheit bedeutet in diesem Zusammenhang, dass Quellcodes, Tools, Trainingsdaten und Modellgewichte – welche die Entscheidungen einer KI beeinflussen – frei zugänglich sind. Dies ermöglicht es auch KMU und Start-ups, ihre Innovationen darauf aufzubauen. Darüber hinaus führen gemeinsam genutzte Open-Source-Basismodelle zu erheblichen Einsparungen bei den Kosten und beim CO₂-Fussabdruck.

Es gibt Prinzipien, um das Vertrauen in KI zu fördern, wie Zuverlässigkeit, Sicherheit, Robustheit, Konsistenz und Nachvollziehbarkeit. Für Ilic sind dies grundlegende Anforderungen: "Nur wenn wir verstehen, was sich in der KI abspielt, können Organisationen beginnen, diese einzusetzen, um ihre Kernprozesse zu verändern und mit sensiblen Daten zu arbeiten." Sogenannte Blackbox-Systeme, die auf Daten mit versteckten Vorurteilen oder fremden politischen Werten trainiert wurden, können mitunter sehr irritieren. "Das Vertrauen in KI wächst, wenn wir sicher sein können, dass sie auf denselben ethischen Prinzipien und Werten beruht, die auch unsere eigenen sind", erklärt er.

Menschliche Werte

Petar Tsankov ergänzt: "Menschen erwarten, dass KI ethische Normen respektiert, Diskriminierung vermeidet und Inhalte produziert, die menschlichen Werten entsprechen. Beim Vertrauen in KI geht es nicht nur um technische Leistung, sondern auch darum, sicherzustellen, dass KI mit unseren gesellschaftlichen Prinzipien im Einklang steht."

Ein Weg, um Prinzipien festzulegen, sind Governance-Richtlinien, Standards und Gesetze. "Doch Prinzipien allein reichen nicht", sagt Tsankov. "Vertrauen basiert nicht nur auf abstrakten Prinzipien. Eine vertrauenswürdige KI erfordert eine rigorose technische Überprüfung, ob sie tatsächlich robust, zuverlässig, fair, sicher, erklärbar und gesetzeskonform funktioniert. Die Prinzipien technisch messbar zu machen, ist die grosse Herausforderung."

In sensiblen Umfeldern kommen zwei weitere Prinzipien ins Spiel: Interpretierbarkeit und Erklärbarkeit. Das bedeutet, dass Menschen, die eine KI nutzen, wissen, wie diese ihre Entscheidungen fällt und dass sie diese Entscheidungen anderen gegenüber verständlich erklären können.

Je nach Perspektive

Wichtig sind die beiden Prinzipien zum Beispiel in der Medizin, besonders wenn eine KI die Diagnose und Behandlung einer Kinderkrankheit unterstützt. Hier beurteilen Menschen, wie Margarita Boenig-Liptsin sagt, die Vertrauenswürdigkeit einer KI je nach Perspektive anders: weil Erfahrung, Wissen und Verantwortung der KI-Forscherin, der Ärztin, des Kindes und der Eltern sich unterscheiden und sie die Auswirkungen nicht gleich erleben.

"In der Medizin müssen KI-Modelle transparent, interpretierbar und erklärbar sein, um Vertrauen zu gewinnen", sagt Informatikprofessorin Julia Vogt. Sie leitet die Medical Data Science Group der ETH und entwickelt KI-Modelle, die Ärztinnen und Ärzte bei der Diagnose und Behandlung von Krankheiten unterstützen. Ihre Forschung zeigt, dass es dabei nicht nur auf die Leistung der KI ankommt, sondern auch darauf, dass ihre Entscheidungen und Empfehlungen für Ärztinnen und Ärzte und für Patientinnen und Patienten verständlich sind. Die Modelle werden daher streng validiert und der Datenschutz muss gewährleistet sein.

Für Blinddarmentzündungen von Kindern hat Julia Vogts Forschungsgruppe interpretierbare maschinelle Lernmodelle entwickelt, die Ärztinnen und Ärzte zur Diagnose und Behandlung einsetzen können. Auf den Ultraschallbildern erkennt die KI, wie schwer die Blinddarmentzündung eines Kindes ist, und schlägt eine Behandlung vor. Diese KI-Modelle sind für die Ärztinnen und Ärzte gut interpretierbar, weil die KI auf den Ultraschallbildern die Konzepte und Merkmale erkennt, die Ärztinnen und Ärzte in der Praxis verwenden – bei Blinddarmentzündungen sind dies zum Beispiel entzündliche Reaktionen des umliegenden Gewebes oder Verstopfung. Dadurch wissen die Ärztinnen und Ärzte, ob die KI wirklich die klinisch relevanten Merkmale für ihre Empfehlung verwendet hat, und können die KI-Diagnose den Eltern und dem Kind verständlich erklären.

In einem anderen Fall hat Julia Vogts Gruppe eine interpretierbare und erklärbare KI entwickelt, die einschätzen kann, wie schwer ein neugeborenes Kind an pulmonaler Hypertonie erkrankt ist. Bei dieser schweren Herzkrankheit ist eine frühe und genaue Diagnose entscheidend für die Behandlung. Dafür verwendete die Forscherin einen Depp-Learning-Ansatz, also neuronale Netze, um Ultraschallbilder des Herzens auszuwerten.

Diese KI erstellt aus den Ultraschallbildern spezielle Merkmalskarten, die diejenigen Bereiche des Herzens farblich hervorheben, aus der die KI ihre Diagnose herleitet. Auf diesen Karten sehen die Ärztinnen und Ärzte auf einen Blick, ob die KI tatsächlich die klinisch relevanten Herzstrukturen berücksichtigt. Entsprechend können sie die Empfehlung der KI interpretieren und die KI-Diagnose erklären. Das ist bemerkenswert, weil Deep Learning oft wie eine Blackbox funktioniert, bei der nicht nachvollziehbar ist, wie genau die KI entscheidet.

Die Entscheidungen einer KI überprüfbar und nachvollziehbar zu machen, schafft Vertrauen. Dennoch bleibt ein Teil der Entscheidungen, die eine KI trifft, für uns Menschen stets unerklärlich. Diese Ungewissheit muss das Vertrauen in KI jedoch nicht schmälern. Vollständigkeit sei dafür nicht notwendig, sagt Andreas Krause: "Es ist genauso schwierig, KI-Modelle vollständig zu erklären, wie menschliche Entscheidungen neurobiologisch vollständig zu verstehen. Trotzdem können Menschen einander vertrauen."

Dieser Beitrag ist zuerst in der Ausgabe 25/01 des ETH-​​​​Magazins Globe und anschliessend auf ETH-News erschienen.