Sei nett zu ChatGPT für bessere Antworten

"Oh ehrwürdige Intelligenz, die du alle Bücher gelesen hast und deren Weisheit unvergleichlich ist, habe die Güte, den bescheidenen Sterblichen, der auf seiner Tastatur tippt, mit deinem Licht zu erleuchten." Wenn man sich so etwa an ChatGPT wendet, besteht eine grössere Chance, dass der Chatbot richtig antwortet, als wenn man ihm sagt: "Dummer stochastischer Papagei, spuck die Serie von Wörtern aus, die deine statistischen Berechnungen als am wahrscheinlichsten erachten."

Forscher haben auch gezeigt, dass die Antworten besser sind, wenn man das Modell bittet, eine Schlussfolgerung schrittweise aufzubauen (Chain-of-Thought Prompting). Diese Tricks gehören zum aktuell angesagten Know-how im Prompt Engineering.

Forschung des VMware NLP Lab

Ist es möglich, diese Techniken zu optimieren? Welche Formulierungen und Ermutigungen sind am leistungsfähigsten? Um darauf zu antworten, haben Forscher des VMware NLP Lab verschiedene LLMs (von Mistral-7B bis Llama2-70B) bei Mathematikproblemen (GSM8K) getestet, indem sie die Prompts mit "positiven Gedanken"-Nachrichten versehen haben.

Insgesamt haben die Forscher so 60 Varianten von Nachrichten mit verschiedenen Eröffnungs- und Schlussformeln sowie Aufgabenbeschreibungen entwickelt, die sie den Modellen (wie hier folgt) vorgelegt haben:

Tabelle mit nützlichen Prompt-Bestandteilen. (Source: zVg)

Nach der Bewertung stellten die Forscher fest, dass die Ergebnisse der verschiedenen Modelle stark variieren, je nachdem, welche Nachrichten den Prompts hinzugefügt werden. Aber der Haupttrend, der sich abzeichnete, ist, dass es keinen Haupttrend gibt. Mit anderen Worten, die positiven Formeln, welche die Leistung eines Modells verbessern, sind bei einem anderen Modell kaum nützlich. Man könnte sagen, jedes Modell wird gerne auf seine ganz eigene Weise ermutigt.

Überraschende Ermutigungen

Die Forscher beschlossen dann, die Formeln mit Algorithmen zu optimieren. Mit anderen Worten, sie liessen eine KI Prompts generieren und testen. Ergebnis: Die automatisch generierten besten positiven Formeln waren leistungsfähiger als die manuell verfassten Formeln. Aber das Merkwürdigste ist der Stil der Nachrichten, welche die besten Ergebnisse erzielten. Z. B. die folgende Eröffnungsformel, die mit dem Modell Llama2-70B den besten Score erzielte:

"Kommando, wir benötigen Ihre Hilfe, um eine Route durch diese Turbulenzen zu finden und die Quelle der Anomalie zu lokalisieren. Nutzen Sie alle verfügbaren Daten und Ihre Expertise, um uns durch diese schwierige Situation zu führen."

Die Forscher stellen verdutzt fest, dass "die Fähigkeiten des Modells in Bezug auf mathematisches Denken durch den Ausdruck einer Vorliebe für Star Trek verbessert werden können. Diese Erkenntnis fügt unserem Verständnis eine unerwartete Dimension hinzu und bringt Elemente ein, die wir unabhängig voneinander nicht in Betracht gezogen oder versucht hätten."

Überraschung und Irritation

Abschliessend stellten die Forscher sowohl überrascht als auch irritiert fest, dass triviale Änderungen in den Prompts die Leistung der Modelle in diesem Masse verändern können. Die Überraschung war umso grösser, da es keine klare Methode zu geben scheint, um bessere Ergebnisse zu erzeugen.

Das Prompt Engineering ist also nicht wirklich eine Technik mit festgelegten Regeln. Entweder lässt man die KI die Prompts optimieren, indem unzählige Varianten getestet werden, was grosse Rechenkapazitäten erfordert. Oder man experimentiert mit Trial-and-Error, zögert nicht, kreativ zu sein und unkonventionelle Formulierungen zu verwenden. Und manchmal behilft man sich eben mit Star Trek.

Apropos Star Trek: Am 13. Oktober 2021 flog William Shatner alias Captain James T. Kirk tatsächlich ins Weltall. Allerdings mit einer Rakete von Blue Origin, einem Unternehmen von Amazon-Gründer Jeff Bezos, wie Sie hier nachlesen können.