ChatGPT & Co. sind weniger lernfähig als bisher angenommen

KI-Modelle wie ChatGPT, Gemini und Co. sind weniger selbstständig lernfähig als bisher angenommen. Zu diesem Schluss kommt eine Studie unter führender Beteiligung der Technischen Universität (TU) Darmstadt. Wie die TU schreibt, fand man keine Hinweise darauf, dass Large Language Models (LLMs) anfingen, ein allgemeines "intelligentes" Verhalten zu entwickeln

Im Mittelpunkt der Forschung stehen unvorhergesehene und plötzliche Leistungssprünge der Sprachmodelle, sogenannte "emergente Fähigkeiten". Die untersuchten Modelle wurden mit zunehmender Grösse und der Menge an Trainingsdaten leistungsfähiger, wie die TU schreibt. Die Modelle können mit zunehmender Skalierung mehr sprachbasierte Aufgaben wie das Erkennen von gefälschten Nachrichten oder das Ziehen von logischen Schlussfolgerungen lösen. 

Dieser Umstand habe Hoffnungen und Sorgen geweckt, heisst es weiter. Zum einen hoffte man, dass eine weitere Skalierung die Modelle noch besser machen würde, zum anderen sorgte man sich, dass diese Fähigkeiten gefährlich werden könnten. Das habe zur Einführung von KI-Gesetzen auf der ganzen Welt geführt. 

LLMs noch weit von menschlichen Fertigkeiten entfernt

Für diese mutmassliche Entwicklung eines differenzierten Denkvermögens der Modelle gebe es aber keine Beweise, heisst es in der Studie. Die LLMs können "relativ einfachen Anweisungen" folgen, von den Fertigkeiten der Menschen seien sie aber noch weit entfernt. 

"Unsere Ergebnisse bedeuten jedoch nicht, dass KI überhaupt keine Bedrohung darstellt", betont Iryna Gurevych, Professorin an der TU Darmstadt und Co-Leiterin der Studie. "Wir zeigen vielmehr, dass die angebliche Entstehung komplexer Denkfähigkeiten, die mit bestimmten Bedrohungen verbunden sind, nicht durch Beweise gestützt wird und dass wir den Lernpozess von LLMs doch gut steuern können. Daher sollte der Fokus künftiger Forschung auf weiteren Risiken liegen, die von den Modellen ausgehen, beispielsweise auf deren Potenzial, zur Generierung von Fake News genutzt zu werden."

Es sei wahrscheinlich ein Fehler, sich auf ein KI-Modell zu verlassen, um komplexe Aufgaben ohne Hilfe zu interpretieren und auszuführen, so Gurevych. So sollen Nutzende explizit angeben, was die Systeme tun sollen, und wenn möglich Beispiele nennen. Die Konfabulation, die Tendenz dieser Modelle, plausibel klingende, aber falsche Ergebnisse zu erzeugen, werde wahrscheinlich weiter bestehen bleiben. 

Ein weiteres Problem, dem sich die Entwickler von KI-Modellen gegenüber sehen, ist, dass wegen KI-generierter Trainingsdaten ein Kollaps der Modelle droht. Eine Studie der Rice Universität in Houston in Texas fand mit Hilfe von sogenannten KI-Datenschleifen heraus, dass sich KI-Modelle selbst sabotieren und dysfunktional werden können. Mehr zur "Model Autophagy Disorder" lesen Sie hier.