Was man bei der Nutzung von ChatGPT beachten sollte

Chatbots, allen voran ChatGPT von OpenAI, sind gerade in aller Munde. Auf den ersten Blick ist es erstaunlich, was das Sprachmodell alles kann und auf wie viele Fragen der Bot die Antwort kennt. Die Anwendung konnte sich bereits  in vielen Bereichen als nützlich erweisen, etwa in der Informatik, im Marketing-Bereich oder für das operative Geschäft, um nur einige Beispiele zu nennen. Zahlreiche Tech-Firmen integrieren den Chatbot in ihre Dienste oder tüfteln an Alternativen. Das Tool scheint sämtliche Lebens- und Arbeitsbereiche zu erleichtern. Trotz allem ist ChatGPT kein Ersatz für eigenständiges Denken.

Spaghetti alla Chatbot

Martin Steiger, Rechtsanwalt und Digitalexperte, demonstrierte dies auf seinem Portal "Steigerlegal.ch" anhand eines kulinarischen Beispiels. Darin geht es um die Antwort des Chatbots auf diese Frage: "Ich habe die nachfolgenden Zutaten. Was kann ich damit kochen? Spaghetti, Tomaten, Parmesan." Die Antwort von ChatGPT:

"Mit diesen Zutaten können Sie ein klassisches Spaghetti alla Carbonara zubereiten: Kochen Sie die Spaghetti nach Packungsanweisung. Während die Spaghetti kochen, hacken Sie die Tomaten klein. Reiben Sie den Parmesan fein. Erhitzen Sie in einer Pfanne etwas Olivenöl und braten Sie die Tomaten kurz an. Vermengen Sie die Spaghetti mit den Tomaten und dem geriebenen Parmesan. Servieren Sie das Gericht heiß. Guten Appetit!"

Wer schon einmal Spaghetti alla Carbonara gegessen oder zubereitet hat, weiss, dass im Rezept von ChatGPT Speck und Eier fehlen. Dafür kommt eine traditionelle Carbonara ganz ohne Tomaten aus (und übrigens auch ohne Rahm, Anm. d. Red.).

ChatGPT zog mit seiner Interpretation dieses Klassikers möglicherweise den kollektiven Zorn Italiens auf sich - gleichzeitig zeigte der Chatbot aber auch auf, was bei seiner Nutzung zu beachten ist: "Man muss sich bewusst sein, was ein Sprachmodell wie ChatGPT leisten kann und was nicht", schreibt Martin Steiger. Er vergleicht ChatGPT mit einem schlecht vorbereiteten, aber selbstbewussten Kandidaten bei einer mündlichen Prüfung. "Grundsätzlich ist immer Vorsicht angebracht: ChatGPT gibt mit großer Eloquenz und Autorität nicht selten falsche Antworten", beschreibt es auch das Handelsblatt. Der Bot falle zudem gerne auf Fangfragen herein. Auch aktuelle Fragen seien tabu, weil das Programm nur mit Daten bis Ende 2021 trainiert worden ist. "Fragen wie zur Fußballweltmeisterschaft 2022 beantwortet das Programm zwar, sie sind aber Spekulation."

Ein weiteres Problem: ChatGPT  gibt keine Quellen für seine Antworten an. Es nennt auch keine Wahrscheinlichkeit für die Richtigkeit seiner Antworten – es gibt einfach Antworten. Dazu kommt, dass ChatGPT zwar Texte übersetzen kann und mehrere Sprachen beherrscht, in der deutschen Grammatik jedoch noch nicht wirklich sattelfest ist.

Vom Pastagericht zum Bundesgericht

Welche Version von ChatGPT Rechtsanwalt Martin Steiger für sein kulinarisches KI-Experiment verwendet hat, geht aus seinem Beitrag nicht hervor. Seitdem scheint der Bot jedenfalls dazugelernt zu haben: Bei gleicher Fragestellung empfiehlt die KI mittlerweile, mit den oben genannten Zutaten eine Pasta Pomodoro zu kochen. Auf die Frage "Welche Zutaten brauche ich für eine Spaghetti Carbonara?" liefert ChatGPT übrigens eine traditionelle Zutantenliste ab - mit Spaghetti, Guanciale oder Pancetta, Eiern und Pecorino (und ohne Rahm).

Von einem Gericht zum anderen: In Steigers eigentlichem Metier konnte ChatGPT bereits aufzeigen. So bestand der Bot etwa schon ein Jus-Examen der University of Minnesota. Im praktischen Bereich zeigt das Tool jedoch noch Schwächen, wie Steiger demonstrierte. Der Rechtsanwalt liess den Chatbot die Rolle eines Anwalts einnehmen und das Bundesgerichtsurteil vom 26. Januar 2023 zusammenfassen sowie dieses von Italienisch auf Deutsch übersetzen. Diese Aufgabe war ChatGPT wohl eine Nummer zu gross. Das Tool machte in seiner Antwort laut Steiger nämlich einige offensichtliche Fehler. Ausserdem fehlte in der Zusammenfassung das finale Urteil. Auch der zweite Anlauf brachte ein ähnliches Ergebnis ein.

Martin Steiger, Rechtsanwalt und Digitalexperte (Source: (c) hpb)

Das Carbonara-Problem bleibt

"Mit Nachhaken könnte man die Antwort-Qualität verbessern, aber das Grundproblem – das 'Spaghetti alla Carbonara-Problem' – bleibt", resümiert Steiger. Wer einfach nur auf der Suche nach einem leckeren Abendessen ist, kann wohl ruhigen Gewissens ignorieren, dass eine Pasta Pomodoro keine Carbonara ist, und das Gericht einfach geniessen. Wer jedoch im professionellen Bereich auf ChatGPT vertraut, beispielsweise eben als Anwältin oder Anwalt, muss wohl inhaltliche und fachliche Abstriche machen.

Martin Steiger erklärt schliesslich mithilfe eines Entscheidunsgbaums aus dem Netz, in welchen Situationen es sinnvoll ist, ChatGPT zu verwenden. Das Ergebnis: Wenn es egal ist, ob die Antworten tatsächlich stimmen, könne man ChatGPT ohne Bedenken verwenden. Falls nicht, bedürfe es der nötigen Expertise, um diese richtigzustellen. Zusätzlich seit die Bereitschaft erforderlich, die Verantwortung für etwaige Falschinformationen zu übernehmen.

Inzwischen hat OpenAI seinen Premium-Usern eine neue Version seines KI-Modells zur Verfügung gestellt: GPT-4. Die neue Version von ChatGPT soll kreativer und zuverlässiger sein als sämtliche Vorgänger und auch differenziertere Anweisungen verstehen. Zudem könne GPT-4 eingegebene verarbeiten, versprechen die Entwickler. Zum Beispiel sei die KI im Stande, Fotos vom Inneren eines Kühlschranks zu analysieren und mit den vorhandenen Lebensmitteln Rezeptvorschläge zu machen - also genau das, worum Rechtsanwalt Martin Steiger den Bot in seinem Carbonara-Experiment gebeten hat. Gut möglich, dass ChatGPT in dieser und weiteren zukünftigen Versionen bessere Antworten auf viele Fragen nach Gott &  der Welt sowie nach verschiedenen Pastarezepten geben kann. Der Grundsatz bleibt jedoch der gleiche: Im Zweifelsfall ist es wohl besser, das Ergebnis selbst zu verifizieren.