Technische Universität Berlin

Medieninformation | 24. Juni 2021 | sn

Wo der Sinn von Wörtern und Sätzen sein zu Hause hat

Fatma Deniz und Klaus Obermayer forschen zur Sprachverarbeitung bei bilingualen Menschen

Was geschieht im Gehirn eines Englisch und Spanisch sprechenden Menschen, wenn er „Alice in Wonderland“ einmal in Englisch und dann in Spanisch liest? Werden die gleichen Hirnareale aktiviert – gleich, ob die Passage im Englischen oder im Spanischen gelesen wird, oder werden beim Lesen des gleichen Textes in einer anderen Sprache andere Hirnareale angeregt? „Wir wissen es nicht“, sagt Dr. Fatma Deniz. Aber genau diese Fragen sind Gegenstand ihres neuen Forschungsprojektes „Sprachrepräsentationen bei zweisprachigen Menschen“ („Language representations in bilinguals“), in dem Neurowissenschaftler, Computerlinguisten und Informatiker der TU Berlin und der University of California, Berkeley zusammenarbeiten werden.

Wo „sitzt“ die Semantik auf dem Kortex?

„Wir wollen erforschen, wie die linguistische Repräsentationen, wie zum Beispiel die Semantik, also die Bedeutung von Wörtern und Sätzen in der Großhirnrinde von zweisprachigen Menschen dargestellt werden. Dafür untersuchen wir komplexe Hirndaten, die mit Hilfe von bildgebenden Verfahren wie der funktionellen Magnetresonanztomographie (MRT) aufgenommen wurden und modellieren diese mit Hilfe von computergestützten Methoden aus der Informatik. Mit diesem Ansatz können etwa die Gehirnaktivierungen in bestimmten Gehirnregionen, die die Bedeutung von Wörtern verarbeiten, mit Hilfe von Modellen vorhergesagt werden“, sagt die Neurowissenschaftlerin und Informatikerin. Sie ist Nachwuchsgruppenleiterin dieses Projektes und arbeitet an der TU Berlin und der University of California, Berkeley (USA).

Lesen bildet, hören aber auch

Dieses Forschungsprojekt baut auf den Ergebnissen ihrer Untersuchungen aus den Jahren 2016 bis 2019 in Berkeley auf, als sie und ihre Kollegen herausfanden, dass es bei der Bedeutungsverarbeitung von Wörtern und Sätzen für das Gehirn kaum einen Unterschied macht, ob ein Text gelesen oder gehört wird. Oder anders ausgedrückt: Wenn Lesen bildet, dann hören auch.

Neun Proband*innen im Alter zwischen 25 und 35 Jahren hatten zuerst Texte leise gelesen (jeder las die gleichen Texte) und genau diese Texte dann noch einmal zu hören bekommen. Während des Lesens und Hörens erfassten die Wissenschaftlerinnen mit Hilfe der funktionellen Magnetresonanztomographie die Gehirnaktivitäten. Zuvor war die Bedeutung von jedem Wort mit Hilfe der natürlichen Sprachverarbeitung (Natural Language Processing) – eines Teilgebietes der Künstlichen Intelligenz – codiert worden, sodass die Bedeutung des gelesenen beziehungsweise gehörten Wortes mit einem Gehirnsignal in Verbindung gebracht werden und auf dem Gehirn verortet werden konnte. Mit Hilfe des maschinellen Lernens clusterten die Wissenschaftlerinnen die modellierten Gehirndaten nach Konzepten wie visuell, taktil, numerisch, lokal, gewalttätig, emotional, temporal und so weiter.

So aktivieren jene Wörter des Bedeutungsclusters sozial, zu denen Wörter wie Vater, Mutter, Sohn, Tochter, Kind, Oma, Opa gehören, unter anderem das Gehirnareal im temporoparietale Übergang, in dem sich die temporalen und parietalen Lappen treffen, oder Wörter des Bedeutungsclusters Körperteil, zu denen Wörter wie Lippen, Arm, Fuß, Nacken, Schädel, Bauch, Glied gehören, überwiegend das Gehirnareal im hinteren Bereichen des Gehirns im visuellen Kortex.

Interaktive Landkarte der Wortbedeutungen in 3D

„Als wir dann die Daten der Gehirnaktivität beim Lesen und mit denen beim Hören verglichen, stellten wir fest, dass es für die Bedeutungsverarbeitung der Wörter und Sätze im Gehirn keinen Unterschied macht, ob sie gelesen oder gehört wurden. Die Bedeutungsverarbeitung findet bei beiden Fähigkeiten in den gleichen Gehirnregionen statt. Das hatten wir so nicht erwartet“, resümiert Dr. Fatma Deniz. Die Ergebnisse visualisierte sie in einer interaktiven 3D-Karte des Gehirns. Diese zeigt, welche Bedeutungscluster welche Gehirnareale aktivieren. Entstanden ist so eine Landkarte von Wort- und Satzbedeutungen auf dem menschlichen Kortex. „Mit diesem Ansatz können etwa die Gehirnaktivierungen in bestimmten Gehirnregionen, die die Bedeutung von Wörtern verarbeiten, mit Hilfe von Modellen vorhergesagt werden“, so Fatma Deniz.

Ihre Erkenntnisse sind zum Beispiel für Schlaganfall-Patienten, deren Sprachzentrum verletzt wurde, von Bedeutung oder für Legastheniker. „Sollte sich zeigen, dass das Gehirn eines Legasthenikers beim Hören von Texten keinerlei Einschränkungen bei der Bedeutungsverarbeitung aufweist, könnte zum Beispiel durch den Einsatz von mehr Audiomaterial im Unterricht die Lernleistungen der betroffenen Kinder unterstützt werden“, sagt die Wissenschaftlerin. Umgekehrt wäre es wichtig, sich die „Bedeutungslandkarten“ des Gehirns beim Lesen und Hören von Menschen mit auditiven Verarbeitungsstörungen anzuschauen.

Erkenntnisse für die Forschungen zu Künstlicher Intelligenz

Ging es in ihrer vorherigen Studie um die Bedeutungsverarbeitung von Sprache bei monolingualen Menschen während des Lesens und Hörens, untersucht sie jetzt die Bedeutungsverarbeitung bei bilingualen Menschen. „Es wird spannend sein zu sehen, ob in verschiedenen Sprachen die gleichen semantischen Landkarten auf dem Gehirn entstehen oder ganz andere“, so die passionierte Cello-Spielerin. Mit ihrer neuen Studie möchte Fatma Deniz weitere Erkenntnisse über die Sprachverarbeitung im Gehirn gewinnen, die dann wiederum Anwendung finden könnten in den Forschungen auf dem Gebiet der Künstlichen Intelligenz.

Das Projekt, das sie zusammen mit TU-Professor Dr. Klaus Obermayer, Leiter des Fachgebietes Neuronale Informationsverarbeitung eingeworben hat, wird im Rahmen der transnationalen Initiative „Bilaterale Zusammenarbeit in Computational Neuroscience: Deutschland – USA“ zur Forschungsförderung zwischen Deutschland und den USA finanziert. Die Initiative ist eine Zusammenarbeit vom Bundesministerium für Bildung und Forschung und von der amerikanischen Förderorganisation National Science Foundation.

Kontakt

Dr.

Fatma Deniz

deniz@tu-berlin.de

Einrichtung Neuronale Informationsverarbeitung