Podcast: Wie es Computern gelingt, eigenständig mit Sprache umzugehen

16. Mai 2023, von Chris Biemann

Seit mächtige Sprachmodelle der breiten Weltöffentlichkeit zur Verfügung stehen, ist der Erfolg der Computerlinguistik offenkundig: Man hat dort Rechnerarchitekturen entwickelt, die in der Lage sind, intuitive menschliche Sprache zu prozessieren. Das Verhalten, das diese Systeme zeigen, ist im Detail kaum noch nachvollziehbar, umso beeindruckender sind die Ergebnisse, die sie liefern: Assistenzsysteme, die mit diesen Sprachmodellen ausgerüstet sind, lassen sich steuern und generieren Output, als würden sie Sprache tatsächlich selbst beherrschen – und ihre Anwendungsmöglichkeiten gehen weit über die aufsehenerregenden Chat-Bots hinaus, die die öffentlichen Debatten bestimmen. GPT und verwandte Systeme sind allerdings keineswegs plötzlich entstanden. Sie sind das Ergebnis eines beharrlichen Lernprozesses: Erste Versuche, Sprache in Algorithmen abzubilden, scheiterten in der Mitte des zwanzigsten Jahrhunderts nicht nur an fehlenden Ressourcen oder weil entscheidende maschinelle Lernverfahren noch nicht entwickelt waren, sondern auch deshalb, weil die Theorien darüber, wie sich die Bedeutungsebene menschlicher Sprache abstrakt fassen und systematisieren lässt, unzureichend waren. Was also machen Entwickler:innen moderner Systeme anders als die Pionier:innen der Computerlinguistik?

Im Digitalgespräch gibt Chris Biemann tiefe Einblicke in die Entstehung und Funktionsweise moderner Sprachmodelle und erklärt sprachwissenschaftliche Theorien, die dabei zum Tragen kommen. Er macht verständlich, warum die Systeme so beeindruckende Ergebnisse liefern und beschreibt, wozu sie in der Wissenschaft eingesetzt werden können. Mit den Gastgeberinnen Marlene Görger und Petra Gehring diskutiert Biemann, welche Ressourcen in die Entwicklung solcher Systeme fließen, was passiert, wenn man Sprachmodelle auf dem ganzen Internet trainiert – und welche Aufgaben die Computerlinguistik jetzt, wo sie ihr großes Ziel erreicht zu haben scheint, noch vor sich hat.

Weitere Informationen:
Zum Lehrbuch „Wissensrohstoff Text – eine Einführung in das Text Minig“ von Chris Biemann, Gerhard Heyer und Uwe Quasthoff