OpenAI misst die Halluzinationen seiner LLMs

Large Language Models (LLMs) können falsche Antworten liefern - man spricht in diesem Zusammenhang auch von "Halluzinationen". OpenAI, das Unternehmen hinter ChatGPT, möchte dies korrigieren und die Zuverlässigkeit seiner Modelle verbessern. Um dies zu erreichen, führte das Unternehmen SimpleQA ein, einen Open-Source-Benchmark zur Messung der Genauigkeit der Antworten von grossen Sprachmodellen, wie das Unternehmen mitteilt. Die Entwicklung des neuen Tools zeige auch die derzeitigen Grenzen von LLMs auf.

OpenAI entwickelte das Tool, um die Fähigkeiten seiner LLMs zu bewerten - insbesondere die Fähigkeit, kurze, zielgerichtete und faktenbasierte Antworten zu liefern. Die Basis für das Tool bilden 4326 Fragen mit nachprüfbaren Antworten. Durch die Beschränkung des Benchmarks auf klar definierte Fragen ermöglicht SimpleQA laut OpenAI eine präzisere Messung der Faktentreue. 

Man habe bewusst nur Fragen ausgewählt, auf die es jeweils nur eine richtige Antwort gebe. Zudem wählten die Forschenden nur Fragen aus, die ein OpenAI-LLM zuvor falsch beantwortet hatte.  

Maximal 40 Prozent richtige Antworten

Die Ergebnisse zeigen, dass GPT-4o, die aktuell gängige Version von GPT-4, die Auswahl der Fragen zu 40 Prozent richtig beantwortet. Das Modell GPT-4 o1-Preview schneidet hingegen etwas besser ab.

OpenAI sieht in SimpleQA einen Beitrag zur Forschung im Bereich zuverlässige KI. "Die Frage nach dem Zusammenhang zwischen der Fähigkeit, kurze sachliche Antworten zu geben, und der Fähigkeit, ausführliche Antworten zu verfassen, bleibt offen", teilt OpenAI mit.

OpenAI hat kürzlich übrigens die Domain chat.com für über 15 Millionen US-Dollar erworben. Wer die URL nun eingibt, landet bei ChatGPT. Mehr dazu lesen Sie hier.