Wie man künstliche Intelligenz messen kann - und warum das wichtig ist

Herzlichen Glückwunsch zum Global Swiss AI Award für bahnbrechende Leistungen im Bereich der künstlichen Intelligenz. Was bedeutet diese Auszeichnung für Sie?

François Chollet: Vielen Dank! Der Award war eine grosse Überraschung. Ich fühle mich sehr geehrt und bin dankbar, dass die Jury an meine Arbeit gedacht und sie ausgezeichnet hat. Es ist sehr ermutigend, Anerkennung für meine recht ungewöhnlichen Forschungsansätze zu erhalten.

Sie sind schon länger auf dem Gebiet der künstlichen Intelligenz tätig. Was hat Sie ursprünglich motiviert, KI-Forscher zu werden?

Als Teenager hatte ich eine Art philosophisches Interesse daran, wie der menschliche Geist funktioniert, was das Bewusstsein ausmacht und so weiter. Damals informierte ich mich über Neuropsychologie, weil ich dachte, dass dies das wissenschaftliche Gebiet sei, das alle Antworten liefern würde. Aber leider stellte ich schnell fest, dass die Neuropsychologie keine Erklärung für die Funktionsweise des Geistes bietet, sondern nur eine sehr umfangreiche Sammlung relativ oberflächlicher Beobachtungen. Dann habe ich mich der künstlichen Intelligenz zugewandt, weil ich dachte, den Geist verstehen zu können, indem ich versuche, ein Modell davon von Grund auf zu erstellen. Allerdings hatte die damalige künstliche Intelligenz im Grunde nichts mit menschlicher Intelligenz oder dem Geist zu tun.

Sondern?

Es war ein Teilgebiet der Informatik, das sich auf Suchalgorithmen konzentrierte, wie sie beim Schachspiel verwendet werden. Das war eine ziemliche Enttäuschung. Schliesslich landete ich bei der kognitiven Entwicklungsrobotik, einer winzigen akademischen Forschungsnische, die versucht, Computermodelle der frühen Phasen der menschlichen kognitiven Entwicklung zu programmieren. Algorithmen, die wie Kinder lernen können. Das schien eine vielversprechende Idee zu sein. Nach meinem Abschluss begann ich, mein Interesse auf praktischere Anwendungen auszudehnen, und schliesslich arbeitete ich sozusagen an den Schaufeln und Spitzhacken des neuen KI-Goldrausches, dem Deep Learning Framework "Keras".

Keras gilt heute quasi als globaler Standard in Machine Learning und wird von zahlreichen Diensten genutzt. Was sind Ihre Lieblings-Keras-Anwendungen?

In den letzten Jahren hat es viele überraschende und wunderbare Anwendungen für Keras-Modelle gegeben. Eine, die ich ziemlich eindrücklich finde, ist, dass Wissenschaftlerinnen und Wissenschaftler Keras verwenden, um den Inhalt der Manuskripte des Geheimarchivs des Vatikans automatisch zu transkribieren – eine Aufgabe, die für Menschen viel zu zeitaufwändig wäre, da es sich um Millionen von Dokumenten handelt.

Eine weitere interessante Anwendung in der Schweiz: Keras-Modelle werden am Large Hadron Collider, dem grossen Teilchenbeschleuniger am CERN, eingesetzt, um Teilchenkollisionsdaten zu verarbeiten und interessante Ereignisse zu entdecken. Und kürzlich hat ein internationales Forscherteam eine neuronale Prothese für Blinde entwickelt. Im Grunde handelt es sich dabei um eine Kamera, die visuelle Daten aufnimmt und sie an ein Deep-Learning-Modell weitergibt, um sie zu komprimieren und anzureichern. Die resultierenden Daten werden dann in ein elektrisches Signal umgewandelt, das sogenannte Neurolight. Dieses Signal wird dann an den visuellen Kortex einer blinden Person gesendet, die dann – nach einer Trainingszeit – ein gewisses Mass an visuellen Informationen wahrnehmen kann. Das dazu genutzte Deep-Learning-Modell wurde mit Keras entwickelt. Für mich ist das überwältigend: einem Blinden die Sehkraft zu geben – fast wie ein biblisches Wunder.

Sie haben eine Methode zur Messung von KI entwickelt. Warum?

Künstliche Intelligenz hat in letzter Zeit grosse Fortschritte gemacht bei Problemen wie dem Erkennen von Bildinhalten, dem Meistern von Spielen wie "Go" und so weiter. Allerdings sind diese Fähigkeiten jeweils eher aufgabenspezifisch als allgemein: Man kann eine KI, die darauf trainiert ist, Go auf einem 9×9-Brett zu spielen, nicht auf einem 19x19-Brett spielen lassen. Man kann auch nicht ein selbstfahrendes Auto, das für Phoenix, Arizona programmiert ist, in Zürich fahren lassen. Unseren KI-Modellen fehlt es an Allgemeinheit und Generalisierbarkeit. Sie sind nur zu dem fähig, was ich "lokale Verallgemeinerung" nenne: Sie können mit Situationen umgehen, die extrem nahe an dem liegen, wofür sie trainiert wurden. Obwohl wir bei der sehr engen, aufgabenspezifischen KI grosse Fortschritte gemacht haben, sind wir bei der allgemeinen KI noch nicht weitergekommen.

Warum ist das so?

Ich denke, das liegt einfach daran, dass wir uns bei der Bewertung von KI-Fortschritten bisher auf die aufgabenspezifischen Fähigkeiten konzentriert haben. Ein Effekt, den man bei der Entwicklung von Systemen ständig beobachten kann, ist die Abkürzungsregel: Wenn man sich auf die Optimierung einer Erfolgskennzahl konzentriert, wird man sein Ziel zwar erreichen, aber auf Kosten all dessen, was im System nicht davon abgedeckt wurde. Am Ende nimmt man jede verfügbare Abkürzung, um das Ziel zu erreichen. Die Abkürzungsregel ist in der KI allgegenwärtig. Wenn Sie sich zum Ziel setzen, Schach auf menschlichem Niveau zu spielen, werden Sie das auch erreichen. Aber nur das: Ihr System wird keine der kognitiven Fähigkeiten aufweisen, die Menschen beim Schachspiel einsetzen, und daher wird es sich nicht auf andere Aufgaben verallgemeinern lassen. Bislang war der wichtigste Erfolgsmassstab im Bereich der KI das Erreichen spezifischer Fähigkeiten, das Lösen spezifischer Aufgaben. Folglich besteht die Geschichte der KI aus einer Reihe von Erfolgen, bei denen wir herausgefunden haben, wie wir diese Aufgaben lösen können, ohne eine allgemeine Intelligenz zu besitzen. Deshalb war ich der Meinung, dass ein neues Mass für den Fortschritt in der KI erforderlich ist, ein Mass, das sich auf die Fähigkeit zu Generalisieren und nicht auf die aufgabenspezifischen Fähigkeiten konzentriert. Nur wenn wir genau messen, wie wir vorankommen, können wir Fortschritte in die richtige Richtung machen.

Also eine neue Art von IQ. Einfach erklärt: Wie funktioniert Ihre Messmethode?

Ich habe eine Art Spiel namens ARC entwickelt, das sowohl von KIs als auch von Menschen gespielt werden kann. Es erinnert in der Tat ein wenig an einen IQ-Test. Ohne ins Detail zu gehen, besteht die Grundidee darin, dass man für das Spiel nicht üben kann. Sie werden jedes Mal mit neuen Aufgaben getestet, die Sie noch nie zuvor gesehen haben. Sie müssen also im Handumdrehen herausfinden, wie die einzelnen Aufgaben funktionieren. ARC misst also, wie gut man sich an Neues anpassen und unerwartete Situationen verstehen kann – so definiere ich allgemeine Intelligenz. Anstatt sich auf die Fähigkeiten innerhalb einer vordefinierten, statischen Aufgabe wie Schach, Go oder Starcraft zu konzentrieren, legt diese Definition den Schwerpunkt auf die Fähigkeit, effizient zu lernen, neue Aufgaben zu bewältigen oder sich an eine veränderte Umgebung anzupassen.

Wie löst ARC das Problem des menschlichen Vorwissens?

Natürlich geht man ein neues Spiel nie ganz von vorne und ohne Vorkenntnisse an. Was Sie bereits über die Welt wissen, hat einen erheblichen Einfluss auf Ihre Fähigkeit, ARC zu spielen. Darum kontrolliert das Spiel streng, welche Art von Vorwissen es voraussetzt. ARC verlangt nur Wissen aus Kernwissen-Systemen, die das Wissen über die Welt repräsentieren, mit dem Menschen geboren werden oder das sie in den ersten paar Jahren ihres Lebens entwickelt haben. Also Antworten auf Fragen wie: Was ist ein Objekt? Was bedeutet Zählen? Anders als bei einem IQ-Test geht es bei den ARC-Aufgaben nie um erworbenes Wissen wie zum Beispiel englische Sätze. Darum können bereits 5-jährige Kinder ARC in Angriff nehmen. Für moderne KI-Ansätze, insbesondere für Deep Learning, ist ARC jedoch derzeit noch völlig unerreichbar. Wenn man so etwas sieht – ein Problem, das Kinder auf Anhieb lösen können, ohne jemals dafür trainiert zu haben, während KI damit nichts anfangen kann, egal wie sehr man sich anstrengt – dann weiss man, dass etwas Interessantes passiert. Etwas Wichtiges, das wir übersehen.

Wie haben sich KI und Deep Learning im letzten Jahr allgemein entwickelt? Welche Anwendungen waren für Sie am spannendsten?

Meiner Ansicht nach verharrt die KI-Forschung seit ungefähr 2018 auf einem Plateau – und dies trotz eines dramatischen Anstiegs der für die Forschung bereitgestellten Mittel. Das Interessanteste, was heute meiner Meinung nach in der KI passiert, sind die praktischen Anwendungen von Deep Learning. Die Technologie wird für jedes erdenkliche Problem auf der Welt eingesetzt: Katastrophenschutz, Wettervorhersage, Optimierung von Rechenzentren, Fertigung, Gesundheitswesen ... Die Anwendungsmöglichkeiten sind nahezu unbegrenzt. Deep Learning hat das Potenzial, die Produktivität in so ziemlich jeder Branche um 5 bis 20 Prozent zu steigern, und das finde ich wirklich spannend!

Wo sehen Sie die Schweiz in puncto KI? Wo liegen ihre Stärken und Schwächen?

Auf globaler Ebene ist die Schweiz sehr gut positioniert. Historisch gesehen verfügt die Schweiz seit langem über sehr gute Universitäten, die wichtige Forschungsarbeit leisten und eine bemerkenswerte Rolle bei der Entwicklung moderner KI gespielt haben. So hat Jürgen Schmidhuber vom IDSIA in Lugano Ende der 1990er Jahren den LSTM-Algorithmus mitentwickelt, der später zu einem gängigen Werkzeug für die Verarbeitung von KI-Sequenzen wurde. Ebenfalls am IDSIA entwickelte Dan Ciresan 2011 als einer der ersten die Bilderkennung mit Convnets, die auf GPUs trainiert wurden, ein Fortschritt, der den modernen Deep-Learning-Boom einleitete. Heute investiert Google viel in die KI-Forschung und -Entwicklung in Zürich. Auch einige Mitglieder meines Teams arbeiten dort an zwei wichtigen Keras-Erweiterungspaketen für graphische neuronale Netze und Entscheidungswälder.

Und welche Rolle spielen die USA?

Die USA sind zweifelsohne das Epizentrum, in dem sich die meisten Dinge im Bereich der KI abspielen, und das liegt an den grossen Technologieunternehmen wie Google, Microsoft und Amazon, die alle dort ansässig sind. Mitte der 2010er Jahre wurde die KI-Forschung vor allem von diesen Unternehmen vorangetrieben, die massiv investierten. Dies führte dazu, dass sich das KI-Forschungsökosystem wieder auf die USA konzentriert. Vor dieser Zeit, etwa um 2010, war sie stärker verteilt, und Länder wie Kanada, die Schweiz oder Frankreich spielten eine vergleichsweise grössere Rolle.

Sie haben ein Essay über die Grenzen des Deep Learning geschrieben. Wo liegen diese?

Deep-Learning-Modelle sind im Wesentlichen grosse Kurven, die man an eine Reihe von Datenpunkten anpasst. Eine solche Kurve ist ein Modell der Daten und kann verwendet werden, um Vorhersagen über neue Datenpunkte zu treffen. Aber dieser Ansatz ist ziemlich begrenzt. Deep-Learning-Modelle sind spröde und extrem datenhungrig, und sie lassen sich nicht über die Verteilung ihrer Trainingsdaten hinaus verallgemeinern. Dies ist eine unausweichliche Konsequenz aus dem, was sie sind und wie wir sie trainieren. Sie können erfolgreich Dinge verstehen, die dem ähneln, worauf sie trainiert wurden. Aber sie können keine "Intelligenz" zeigen, bei der es um Anpassung und Improvisation angesichts von Neuheit und Unsicherheit geht. Das ist mit einer statischen Kurve, die an einen statischen Datensatz angepasst ist, nicht möglich.

In einem weiteren Artikel skizzierten Sie, wie die Zukunft des Deep Learning aussehen könnte. Den Text veröffentlichten Sie vor etwa vier Jahren. Sind wir Ihrer darin skizzierten Vision schon näher gekommen?

Ja, zumindest in dem Sinne, dass das Bewusstsein für die Themen, auf die ich hingewiesen habe, in den letzten Jahren erheblich gewachsen ist. Als ich diesen Artikel vor vier Jahren schrieb, befand sich die Welt des Deep Learning quasi noch in der Flitterwochen-Phase, als die Menschen noch immer von den überraschend schnellen Fortschritten beeindruckt waren, die zwischen 2011 und 2016 erzielt wurden. Man war sich damals noch immer nicht sicher, wie viele weitere Fortschritte wir durch die einfache Skalierung unserer Modelle auf grössere Datensätze erzielen könnten. Ich vertrat einen konträren Standpunkt, wies auf die unvermeidlichen Grenzen des Ansatzes hin und machte Vorschläge, wie man sie überwinden könnte. Diese Ideen haben sich seither ziemlich durchgesetzt. Das ist also ein Fortschritt. Und in letzter Zeit ist das Interesse an menschenähnlicher Künstlicher Intelligenz und der Programmsynthese, dem Forschungsgebiet, das ich als Schlüssel zum Fortschritt bezeichnet habe, sprunghaft angestiegen. Wenn es jedoch darum geht, die Grenzen des Deep Learning zu überwinden und die von mir beschriebene Zukunft zu schaffen, machen wir immer noch nur kleine Schritte.

KI wird kontrovers diskutiert, und viele Staaten haben Initiativen zu deren Regulierung gestartet. Wie viel Regulierung brauchen wir Ihrer Meinung nach?

KI ist ein mächtiges Werkzeug, und wie bei jedem mächtigen Werkzeug können einige seiner Anwendungen fehlgeleitet sein und sich nachteilig auf die Menschen auswirken. Wenn beispielsweise ein Social-Media-Unternehmen seinen Nutzern einen Empfehlungsalgorithmus für den Newsfeed vorschlägt, der am Ende dazu beiträgt, dass sich Fehlinformationen gegen Impfungen verbreiten, ist das schädlich für die Gesellschaft. Wichtig dabei ist, dass wir eher die Anwendungen regulieren sollten anstelle der Forschung. Wir sollten versuchen, die Öffentlichkeit zu schützen, wenn es nötig ist, aber wir sollten die Innovation nicht abwürgen. Anwendungen müssen ohnehin oft unabhängig von der KI reguliert werden: Ein schädlicher Newsfeed-Algorithmus kann beispielsweise mit sehr wenig KI implementiert werden. Darum: Regulieren Sie die Anwendungen des Werkzeugs, nicht das Werkzeug selbst.

Sehen Sie Bereiche, in denen der Einsatz von KI überreguliert ist?

Derzeit gibt es, wenn überhaupt, nur wenige KI-Gesetze - darum: nein.

Auf Ihrer Website schreiben Sie nicht nur über Ihre Arbeit als Forscher, sondern Sie veröffentlichen auch grafische Kunstwerke und Musik. Gibt es für Sie eine Verbindung zwischen KI und Kunst?

Ich glaube nicht, dass es eine unmittelbare Überschneidung gibt: Forschung und Kunst sind ziemlich unterschiedliche Tätigkeiten. Aber es gibt einige abstrakte Ähnlichkeiten in der Zielsetzung. Sowohl in der Forschung als auch in der Kunst geht es letztlich darum, etwas Wahres über die Welt zu finden und auszudrücken.

Haben Sie sich Beethovens unvollendete zehnte Symphonie angehört, die unlängst von einer künstlichen Intelligenz fertig komponiert wurde? Wenn ja, wie hat sie Ihnen gefallen?

Ich denke, es ist ein bisschen ein Gimmick. Die Sache ist die: KI kann dazu verwendet werden, Muster zu vervollständigen, auf die sie zuvor trainiert wurde. Und ich glaube, dass die Vervollständigung von Mustern oder die Erzeugung von Mustern, die frühere Kunstwerke nachahmen, als künstlerisches Werkzeug durchaus ihre Berechtigung haben. Man kann es sich wie einen sehr komplizierten Pinsel vorstellen, wenn man malt, oder wie einen sehr komplizierten Arpeggiator, wenn man Musik macht. (Ein Arpeggiator erzeugt aus mehreren gleichzeitig gedrückten Tönen auf einer Tastatur eine Melodie, indem er die Töne nacheinander spielt; Anm. d. Red.). Letztendlich ist es aber nur ein Werkzeug, das nur durch den menschlichen Gebrauch und die Interpretation sinnvoll wird. Wenn ein Papagei ein Lied imitiert, ist das nicht gerade Kunst. Kunst beruht auf menschlicher Erfahrung und hat mit Selbstdarstellung zu tun - vor sich selbst oder vor einem externen menschlichen Publikum. Ein Algorithmus hat kein Selbst, keine Erfahrung und kein Konzept für ein Publikum.

Werfen wir noch einen Blick voraus: Welche Projekte nehmen Sie als nächstes in Angriff?

Da gibt es ein paar. Im Moment arbeite ich an einem Algorithmus, der es Deep-Learning-Modellen ermöglicht, ausserhalb des Raums der Situationen, auf die sie trainiert wurden, besser zu funktionieren - das nennt man "Out-of-Distribution-Generalization". Ausserdem habe ich vor, eine neue Version des KI-Messspiels ARC herauszubringen - hoffentlich bald. Längerfristig arbeite ich an einer rechnerischen Theorie der Abstraktionsbildung, die hoffentlich eines Tages fertig sein wird.

Als Teenager interessierten Sie sich dafür, wie der menschliche Geist funktioniert. Haben Sie inzwischen eine Antwort darauf gefunden?

Ich habe keine einfache Antwort auf die Frage, wie der menschliche Geist funktioniert, leider! Auch sonst weiss das niemand. Wenn wir eine Antwort hätten, könnten wir einen künstlichen Geist entwickeln. Im Allgemeinen konzentrieren sich die "grossen Theorien des Geistes", die gelegentlich von Forschern vorgeschlagen werden, auf einen bestimmten Aspekt des Geistes (z. B. Vorhersage, Komprimierung usw.) und behaupten, dass die Kognition nur auf diesen einen Aspekt reduziert werden kann und alles andere ein Detail ist. Das ist ein bisschen so, als würde man behaupten, das Einzige, was man bei Autos verstehen muss, seien die Reifen. Selbst wenn sich die anfängliche Einsicht als richtungsweisend erweist, reicht natürlich keine Ein-Paragraphen-Theorie aus, um den Geist zu erklären, weshalb wir von einer allgemeinen KI noch sehr weit entfernt sind.

Zur Verleihung der Swiss AI Awards

Am 1.12. wird François Chollet anlässlich der Swiss AI Awards im Rahmen der Ai-Con 2021 der erste Preis für bahnbrechende Leistungen im Bereich der künstlichen Intelligenz überreicht. Es sind noch wenige Tickets für die Ai-Con 2021 erhältlich. Letztes Jahr wurde an der Ai-Con erstmal der Swiss AI Award verliehen. Der Preis ging an die Zürcher Firma Daedalean. Was sich CEO Luuk van Dijk vom Preis erhofft, lesen Sie im Interview.