Das bringt ChatGPT in der Unternehmensberatung

Die Boston Consulting Group (BCG) hat untersucht, ob und auf welche Weise künstliche Intelligenz in der Unternehmensberatung dienlich sein kann. Zusammen mit der Harvard Business School, dem MIT, der University of Warwick und der Wharton School an der University of Pennsylvania führte das Beratungsunternehmen eine entsprechende Studie durch. Als Testsubjekte hielten mehr als 750 internationale Beraterinnen und Berater der BCG her.  

Die Aufgabe ist entscheidend

Je nach Task kann generative KI die Arbeitsleistung signifikant verbessern oder verschlechtern. Das ist das Resultat des ersten BCG-Experiments, bestehend aus zwei verschiedenen Aufgaben. Die Teilnehmerinnen und Teilnehmer wurden aufgefordert, Ideen für neue Produkte und Markteinführungspläne zu entwerfen. Jene Teilnehmenden, die dafür die Unterstützung von GPT-4 beanspruchten, zeigten eine um 40 Prozent bessere Leistung als jene, die ohne KI-Hilfsmittel auskamen. 

Beim zweiten Task ging es darum, Geschäftsprobleme zu lösen. Die Teilnehmenden mussten die Ursache für die Herausforderungen eines Unternehmens auf der Grundlage von Leistungsdaten und Interviews mit Führungskräften ermitteln. Hier schnitt die KI-Fraktion um 23 Prozent schlechter ab als die Kontrollgruppe.  

GPT hilft beim Erstellen von Marketingplänen, schwächelt aber beim Lösen von Geschäftsproblemen. (Source: zVg)

"Für LLMs ist es einfacher, kreative, neuartige oder nützliche Ideen auf der Grundlage der riesigen Datenmengen zu entwickeln, für die sie ausgebildet wurden", schreiben die Studienautoren. Mehr Spielraum für Fehler gebe es, wenn die Modelle nuancierte qualitative und quantitative Daten abwägen müssen, um komplexe Fragen zu beantworten.

GPT verbessert Schwächere mehr

Diese Effekte seien stärker, je schwächer die Ausgangsleistung der jeweiligen Person ohne KI-Unterstützung sei, heisst es weiter. Bei den "Bottom Performers", also den Teilnehmenden mit der schwächsten Performance, habe die KI im ersten Task eine Leistungssteigerung von 40 Prozent bewirkt. Die "Besten" hätten sich mit der zusätzlichen Unterstützung von GPT nur um 17 Prozent verbessert. Auch der negative Effekt der KI sei bei der schwächeren Gruppe stärker ausgeprägt. So hätten sich diese Teilnehmenden beim Lösen von Geschäftsproblemen um 26 Prozent verschlechtert, als die KI zum Einsatz kam, die Top-Gruppe hingegen nur um 17 Prozent.

Die Gruppe mit der schwächeren Leistung sah einen stärkeren Effekt durch den KI-Einsatz als die bessere Gruppe. (Source: BCG)

KI schliesst die Lücke

Ausserdem habe das Sprachmodell die Lücke zwischen den schwächeren und den stärkeren Teilnehmenden schliessen können. In einem Baseline-Task erzielte die schwächere Gruppe im Schnitt 7.07 Punkte, die bessere 7.91, eine Differenz von 12 Prozent. Mithilfe von KI konnten sich beide Gruppen verbessern: Die "High Performers" erreichten nun 8.44 Punkte, die "Low Performers" sogar 8.51 Punkte. Die Differenz zwischen den Gruppen lag somit nur noch bei einem Prozent.

Der Mensch senkt die Qualität

Eine andere spannende Beobachtung: Jene Teilnehmenden, die bei einer Aufgabe das Ergebnis, das die KI ausspuckte, einfach kopierten, schnitten am besten ab. Je mehr das Ergebnis vom Menschen vor der Abgabe verändert wurde, desto schlechter die Qualität. "Es hat den Anschein, dass der primäre Ort menschlicher Wertschöpfung nicht in der Verbesserung generativer KI liegt, wo sie bereits grossartig ist, sondern in der Konzentration auf Aufgaben jenseits der Grenzen der Kernkompetenzen der Technologie", bilanzieren die Autoren.

KI verschiebt das Leistungsspektrum nach rechts. (Source: BCG)

Insgesamt hätten die Studienautoren zwei deutliche Effekte durch den Einsatz von GPT-4 auf die Leistung der Teilnehmenden erkannt. Erstens habe sich die ganze Verteilung nach rechts verlagert, das heisst, in Richtung der höheren Leistung. Und zweitens habe sich die Varianz der Ergebnisse drastisch reduziert. Viel mehr Teilnehmende hätten bei den Aufgaben sehr nahe oder direkt am Durchschnitt abgeschnitten, wenn sie KI verwendeten. 

Übrigens: OpenAI hat neue Features für seinen Chatbot ChatGPT vorgestellt. Der Bot kann bald hören, sehen und sprechen. Lesen Sie hier mehr dazu.