Hier gibt es noch Nachholbedarf, sagt Dr. Daryna Dementieva: „Große Sprachmodelle – sogenannte LLMs – funktionieren zwar grundsätzlich in vielen Sprachen. Doch für bestimmte nachgelagerte Aufgaben arbeiten sie nicht ausreichend präzise ‒ darunter die Emotionserkennung in ressourcenarmen Sprachen“, erklärt die wissenschaftliche Mitarbeiterin am Lehrstuhl für Data Analytics & Statistics von Prof. Alexander Fraser am TUM Campus Heilbronn. „Der Grund liegt oft in fehlenden Datensätzen. Deshalb ist es notwendig, gezielt regionale, kulturelle und sprachspezifische Daten für die jeweilige Zielsprache zu sammeln.“
Genau das geschieht im mehrsprachigen, multinationalen Projekt „BRIGHTER“, in dem Dementieva mitarbeitet: Forschende aus zahlreichen Ländern erarbeiten dort gemeinsam einen Datensatz für 28 Sprachen aus Europa, Asien, Afrika und Amerika. Dementievas Beitrag: Sie hat EMOBENCH-UA erstellt – den ersten öffentlich verfügbaren Datensatz zur Erkennung von Emotionen in ukrainischen Texten.
Warum sie sich der ukrainischen Sprache widmete, liegt nahe: „Ukrainisch ist meine Muttersprache. Deshalb wurde ich eingeladen, an dieser gemeinsamen Aufgabe mitzuwirken.“ Die Grundlage für EMOBENCH-UA bildete ein Korpus mit knapp 5.000 Posts auf der Plattform X (ehemals Twitter) in ukrainischer Sprache. Für diese Datenauswahl gab es mehrere Gründe – der ausschlaggebende: „Wir waren an Texten interessiert, die Emotionen ausdrücken. Solche Inhalte finden sich besonders häufig in sozialen Medien. Zugleich benötigten wir kurze, frei zugängliche Texte auf Ukrainisch.“
Originaldaten funktionieren am besten
Dementieva erläutert das weitere Vorgehen: „Aus dem Datensatz, der mehrere Millionen Tweets umfasst, haben wir zunächst eine Vorauswahl getroffen: Wir identifizierten Beiträge mit Emojis, übersetzten sie ins Englische und analysierten sie mit einem Emotionsklassifikator. So konnten wir die Texte herausfiltern, bei denen mit hoher Wahrscheinlichkeit eine Emotion enthalten war.“ Die eigentliche Kennzeichnung erfolgte dann über die Crowdsourcing-Plattform Toloka.ai: Dabei wurden die Probandinnen und Probanden – alles ukrainische Muttersprachler – gebeten, jeden Post, einem der sechs Gefühle Wut, Angst, Freude, Ekel, Überraschung, Trauer oder der siebten Kategorie „keine Emotion“ zuzuordnen.
Im folgenden Schritt ließen die Forschenden verschiedene Sprachmodellen die gleiche Emotionsanalyse durchführen – von sprachbasierten Ansätzen über sogenannte Transformer, die Texte in ihrem Gesamtzusammenhang analysieren, bis zu LLMs. Anschließend verglichen die Forschenden die Ergebnisse, um herauszufinden, welche Art von Modell für die Emotionserkennung im Ukrainischen am besten geeignet ist.
Die wichtigsten Ergebnisse: Trotz starker Ergebnisse der jüngsten LLMs erwiesen sich die schlankeren Transformer-Modelle als konkurrenzfähige und effiziente Alternative. Generell zeigten Modelle, die mit originalen ukrainischsprachigen Daten trainiert wurden, deutlich bessere Leistungen als solche, die auf synthetischen – also künstlich erzeugten oder automatisch abgeleiteten – Trainingsdaten basieren. Überrascht hat Dementieva allerdings das starke Abschneiden der chinesischen Modelle Qwen und DeepSeek. Diese wurden vor allem für Englisch und Chinesisch trainiert, funktionierten aber deutlich besser als einige speziell für das Ukrainische entwickelte LLMs. Möglicherweise liege das an ihrer Fähigkeit zum schlussfolgernden Denken: „Diese Modelle verfügen über besonders gut entwickelte Mechanismen zur Verarbeitung und Strukturierung von Informationen. Dadurch erzielen sie auch in anderen Sprachen gute Ergebnisse.“
Zahlreiche Anwendungsbereiche
Wie lassen sich Dementievas Ergebnisse in die Praxis übertragen? „Ich hoffe, dass ukrainische Entwicklerinnen und Entwickler im Bereich NLP von diesem Datensatz profitieren und ihn nutzen werden“, sagt die Wissenschaftlerin. Ein möglicher Anwendungsbereich sei die Analyse von Produktbewertungen: „Wenn Unternehmen nachvollziehen möchten, wie in Medien oder Feedbackformularen über ihre Produkte gesprochen wird, können sie gezielt analysieren, ob positive oder negative Emotionen überwiegen.“ Auch auf gesellschaftlicher Ebene sieht Dementieva großes Potenzial – etwa im Kampf gegen Desinformation: „Falschmeldungen gehen häufig mit starken negativen Gefühlen oder Hass einher. Solche Analysen können helfen, schädliche Inhalte frühzeitig zu identifizieren und zu filtern.“ Nicht zuletzt werden Chatbots, die sensibel auf Emotionen reagieren, immer häufiger nachgefragt. EMOBENCH-UA könnte ein wichtiger Baustein sein, um solche Bots für das Ukrainische zu entwickeln.
Da die Forscherin alle gesammelten Daten und das am besten funktionierende trainierte Modell öffentlich zur Verfügung stellen wird, lasse sich der Entwicklungsprozess des Datensatzes auch auf andere Sprachen übertragen: „Natürlich müssen die Definition der Gefühle und einige Beispiele angepasst werden, aber dann kann das Design weitgehend wiederverwendet werden. Auf jeden Fall können Interessierte unsere Anweisungen und das Design der Benutzeroberfläche in ihre jeweilige Sprache übersetzen und mit sprach- und kulturspezifischen Beispielen ergänzen. Dann sollte es kein allzu großer Aufwand mehr sein, das Modell zum Laufen zu bringen.“