Forschende entwickeln KI zur Erkennung von Burn-out

Schweizer Forschende haben eine Methode entwickelt, um anhand eines Onlineposts zu erkennen, ob der Verfasser oder die Verfasserin an Burn-out leidet. Die vom Schweizerische Nationalfonds (SNF) unterstützte Forschung von Mascha Kurpicz-Briki, Professorin für Data Engineering an der Berner Fachhochschule in Biel, und ihrem Team wurde in Frontiers in Big Data veröffentlicht (BurnoutEnsemble: Augmented Intelligence to Detect Indications for Burn-out in Clinical Psychology).

Die Autoren stellten fest, dass es nicht einfach ist, Burn-out zu erkennen. Insbesondere, da die Symptome oft dieselben sind wie bei anderen Krankheiten oder Syndromen. Sie merken zudem an, dass der Einsatz von psychologischen Tests, die sich auf Fragebögen stützen, Grenzen aufweist, da die Antworten subjektiv seien. Zudem trauen sich die Befragten nicht, bestimmte Fragen ehrlich zu beantworten. Die Forschenden sind der Ansicht, dass die automatische Sprachverarbeitung (NLP) diese Mankos ausgleichen kann, indem sie die Anzeichen von Burn-out in frei im Internet veröffentlichten Texten sucht. Die Fragebögen würden dadurch überflüssig. Neu könne der Algorithmen die Konversationen in Netzwerken scannen, um automatisch Mitarbeitende zu identifizieren, die am Ende ihrer Kräfte sind.

Der Algorithmus trainierte mit "Reddit"-Texten

Für das Projekt sammelten die Forschenden Texte, die in englischer Sprache auf der Plattform "Reddit" veröffentlicht wurden. Da die "Reddit"-Communitys, die sich mit Burn-out befassen, nicht genügend Inhalte boten, um die KI zu trainieren, wählten die Forschenden anhand von Schlüsselwörtern ("Burn-out", "burn out", "burning out", usw.) Texte von der gesamten Plattform aus. Anschliessend eliminierten sie Inhalte, die diese Wörter in anderen Zusammenhängen verwendeten (zum Beispiel "the tires are burnt out") und entfernten diese Wörter aus den Texten - andernfalls hätte die KI sie wahrscheinlich allein aufgrund dieses Hinweises identifiziert.

Nachdem sie diesen Korpus an Burn-out-Texten zusammengestellt hatten, erstellten sie einen zweiten mit Nicht-Burn-out-Texten, um die KI darin zu trainieren, diese voneinander zu unterscheiden. Zu diesem Zweck sammelten sie weitere Texte auf "Reddit". Insgesamt verfügten die Forschenden über etwa 700 Texte, die sich je zur Hälfte auf die beiden Arten von Inhalten verteilten.

Auf dieser Grundlage und mithilfe verschiedener Techniken der Datenwissenschaft gelang es, ein Modell zu entwickeln und zu validieren, das Texte, in denen Burn-out erwähnt wird, effektiv von anderen Texten unterscheiden kann. Die Forschenden betonen, dass sie bei der Optimierung ihres Modells vor allem darauf achteten, die Zahl der fälschlicherweise negativen Ergebnisse zu minimieren und zu verhindern, dass ein Burn-out-Text von der KI nicht erkannt wird.

Insgesamt halten sie die Ergebnisse für schlüssig: "Diese Ergebnisse haben ein grosses Potenzial, in einem interdisziplinären Ansatz zu einer neuen Generation von intelligenten Werkzeugen für die klinische Psychologie weiterentwickelt zu werden, die letztendlich ein breiteres Spektrum an psychischen Erkrankungen und Diagnosen abdecken können".

Grenzen des Modells

Das vom Schweizer Forschungsteam durchgeführte Projekt scheint am Puls der Zeit zu sein. Die psychische Gesundheit interessiert die Datenwissenschaftler: Die Applied Machine Learning Days, die Ende März an der EPFL stattfanden, boten einen Track an, der ganz diesem Thema gewidmet war. Zahlreiche Studien zeigen zudem, dass sich Unternehmen zunehmend für die psychische Gesundheit ihrer Mitarbeitenden interessieren. Die Telearbeit während der Pandemie trug zusätzlich dazu bei.

Die Studie zeigt aber auch Grenzen des entwickelten Ansatzes auf: Zunächst einmal gibt es manchmal eine grosse Diskrepanz zwischen dem, was ein Modell tut, und dem, was es vorgibt zu tun. In diesem Fall erkennt das für diese Studie entwickelte Modell nicht, dass eine Person an Burn-out erkrankt ist. Es ist in der Lage, effizient zu erkennen, dass ein Text ursprünglich das Wort Burn-out enthielt (oder eine Antwort auf einen solchen Text ist). Dasselbe gilt jedes Mal, wenn die Verwendung eines Wortes als Teil der Realität betrachtet wird. Wenn ein Modell sagt, dass auf einem Foto eine Katze zu sehen ist, sagt es in Wirklichkeit voraus, dass ein Mensch wahrscheinlich sagen würde, dass auf dem Foto eine Katze zu sehen ist. Wenn es darum geht, ein psychologisches Problem zu diagnostizieren, geht es aber nicht nur um philosophische Fragen.

Entscheidende technische Entscheidungen.

Weiter geht es bei den von den Datenwissenschaftlern durchgeführten technischen Scheinoperationen um wichtige Fragen. In diesem Fall haben die Forschenden ihre KI optimiert, um möglichst wenige falsch negative Ergebnisse (nicht erkannte Burn-outs) zu erhalten, was zur Folge hat, dass die Zahl der falsch positiven Ergebnisse (Erkennung von Burn-outs, die gar keine sind) steigt. Das Team erwähnt ausdrücklich: "Im Fall der Burn-out-Erkennung ist es besser, die meisten oder alle Echtpositiven mit einer überschaubaren Anzahl von Falschpositiven zu erfassen, als Positive zu übersehen. In der Praxis sollte die Markierung von Personen, die potenziell an Burn-out leiden, Fachkräften für psychische Gesundheit helfen, zu entscheiden, welche Fälle einer weiteren Analyse unterzogen werden sollten." Die Frage, ob das Netz weit geöffnet oder sehr selektiv sein soll, betrifft jedoch in erster Linie das öffentliche Gesundheitswesen und die Personen, deren Texte von den Algorithmen analysiert werden und nicht die Datenwissenschaftler.

Algorithmisches Vertrauen und menschliches Misstrauen. Schlussendlich werden digitale Mechanismen oft als Reaktion auf menschliches Misstrauen entwickelt und verlangen im Gegenzug, dass man ihnen den Vertrauensvorschuss der Objektivität gewährt. In diesem Fall wird das Konzept der Erkennung damit begründet, dass man den Antworten, die Menschen in Fragebögen geben, nicht trauen kann. Im Gegenzug soll das Modell, das sich auf die Analyse von Texten ohne Wissen der Nutzer stützt, eine solidere Grundlage bieten. Allerdings sind die verwendeten Wörter keine Biomarker und auch keine objektive Realität, wenn sie in einem sozialen Netzwerk gepostet werden.

Darüber hinaus wirft die algorithmische Erkennung von Burn-out zahlreiche weitere Fragen auf. Ist es nicht in erster Linie die Verantwortung und die Fähigkeit der Manager, zu erkennen, ob ein Teammitglied leidet? Welche Massnahmen werden ergriffen, wenn der Verdacht auf Burn-out besteht? Sind Burn-out und seine Behandlung ein Problem des Einzelnen oder der Organisation?

Apropos Social Media: Wussten Sie, dass sich auch Postings auf Social Media negativ auf das Berufsleben auswirken könnte. Hier können Sie lesen, wie Sie das verhindern.