Hub of Computing & Data Science
& Data Science
16. November 2026, von Janis-Marie Paul

Foto: Janis-Marie Paul/UHH
Große Sprachmodelle schreiben Geschichten, bewerten wissenschaftliche Arbeiten und beantworten Fragen in zahlreichen Sprachen. Doch wie zuverlässig erfüllen sie diese Aufgaben? Und wie gut halten verbreitete Annahmen über ihre Fähigkeiten einer empirischen Prüfung stand?
Drei Arbeiten unter Beteiligung vom HCDS und LT wurden für Findings of EACL 2027 angenommen. Sie untersuchen unterschiedliche Einsatzbereiche großer Sprachmodelle und zeigen, warum wir Sicherheit, kreative Vielfalt und die Qualität automatisierter Bewertungen jeweils genauer betrachten müssen.
Die EACL 2027 findet vom 9. bis 14. März 2027 in Athen statt. Als zentrale europäische Konferenz für Computerlinguistik bringt sie Forschende und Praktiker aus der internationalen Sprachverarbeitungscommunity zusammen.
Sicherheitsmechanismen großer Sprachmodelle werden vor allem anhand englischer Daten entwickelt. Lassen sich diese Schutzmechanismen auf andere Sprachen übertragen?
Die Studie „The Illusion of Cross-Lingual Safety in Low-Resource Languages“ untersucht diese Frage für Twi, Hausa, Amharisch und Swahili. Dafür verbindet der neue Datensatz LoDNA wörtlich übersetzte mit kulturell angepassten Eingaben.
Die Ergebnisse zeigen deutliche Grenzen des sprachübergreifenden Sicherheitstransfers. Sie unterstreichen, dass Sicherheitsbewertungen die jeweiligen Sprachen und kulturellen Kontexte gezielt berücksichtigen müssen.
Die Arbeit entstand in einem internationalen Forschungsteam unter Beteiligung von Seid Muhie Yimam.
Zum Paper und vollständigen Autoren
Sprachmodelle können flüssig und fesselnd schreiben. Doch wie sehr unterscheiden sich ihre Geschichten voneinander?
In „Do Large Language Models Always Tell The Same Stories?“ untersuchen Thennal DK und Hans Ole Hatzel, wie vielfältig zehn Sprachmodelle erzählen. Für ihre Studie nutzen sie von Menschen verfasste Geschichten und Schreibimpulse aus r/WritingPrompts; bewertet wird sowohl von Menschen als auch automatisiert.
Die Geschichten der Modelle ähneln einander durchweg stärker als die von Menschen verfassten. Die Modelle neigen zu generischen Erzählmustern; entsprechend groß ist die Ähnlichkeit zwischen ihren Texten. Übliche Gegenmaßnahmen wie negative Prompts oder andere Temperatureinstellungen sorgen in den untersuchten Szenarien für kaum mehr Abwechslung.
Fürs kreative Schreiben ist das ein Problem: Heutige Sprachmodelle liefern zu wenig Vielfalt und erzählen immer wieder sehr ähnliche Geschichten.
Wissenschaftliche Reviews werden heute oft schon ganz oder teilweise von KI geschrieben. Lässt sich ein Sprachmodell allein durch automatische Änderungen am Inhalt einer Arbeit dazu bringen, eine höhere Punktzahl zu vergeben?
In „Review Arcade: On the Human Alignment and Gameability of LLM Reviews“ untersuchen Hans Ole Hatzel, Sebastian Steindl und Jan Strich diese beiden Aspekte anhand von Arbeiten aus dem ACL Rolling Review 2025.
Wie gut menschliche und KI-generierte Reviews übereinstimmen, hängt stark vom Modell und vom Prompt ab. Wird eine Arbeit mehrfach anhand von KI-Feedback überarbeitet, kann die nächste KI-Bewertung in bestimmten Szenarien besser ausfallen: Bis zu 35 Prozent der Arbeiten erhalten eine höhere Gesamtpunktzahl.
Ob solche Bewertungen robust sind, steht damit infrage. Höhere KI-Punktzahlen allein belegen noch keinen Zuwachs an wissenschaftlicher Qualität.
Modelle für ihre jeweiligen Anwendung Evaluieren
Die drei Arbeiten liefern unterschiedliche Perspektiven auf eine gemeinsame Herausforderung: Wie prüfen wir, ob Sprachmodelle die Anforderungen ihres jeweiligen Einsatzes erfüllen?
Für HCDS und LT ist die Annahme der Beiträge ein schöner Anlass, diese Fragen mit der internationalen Forschungsgemeinschaft weiterzudiskutieren.