Was verstehen Kinder? Wie findet man das heraus?
Kinder lernen eine Sprache in einer multimodalen Umgebung, in der ihre Bezugspersonen mit ihnen über verschiedene Modi wie Blickkontakt, Gestik und Lautsprache interagieren. Da Gesten oft für die begleitende Sprache relevante Informationen übertragen, brauchen Kinder dieses Medium, um die Botschaften des Sprechers verstehen zu können. Die Aufgabe Darum entstand das Forschungsprojekt ChildGesture, das im Rahmen des Marie-Curie-Programms gefördert wurde. Dr. Kazuki Sekine, ein Postdoktorand mit Marie-Skłodowska-Curie-Stipendium, und Projektkoordinatorin Professor Asli Özyürek arbeiteten dabei mit dem Multimodal Language and Cognition Lab zusammen. In ChildGesture wurde untersucht, ob Kinder Gesten und Sprache verstehen und verarbeiten können und auch wie sie das tun. Prof. Özyürek erläutert: „Wir wollten das nicht nur über die Verhaltensreaktionen der Kinder beantworten, sondern auch indem wir – als Erste überhaupt – ihre neurokognitive Verarbeitung semantischer Informationen aus Gesten und Sprache mithilfe von bildgebenden Verfahren wie Elektroenzephalografie (EEG) analysierten.“ Während Gehirne von Erwachsenen bestimmte Reaktionen zeigen, die als der N400-Effekt bekannt sind, „weiß man bisher kaum etwas über Hirnsignaturen für die multimodale semantische Integration bei Kindern“, ergänzt Prof. Özyürek. Außerdem sollte das Projekt aus der Verhaltensperspektive klären, ob und wie Gesten Kindern dabei helfen, Sprache aus Störgeräuschen herauszufiltern. Die Haupterkenntnisse Zuerst wurden 6 bis 7 Jahre alten niederländischen Kindern klare einzelne Handlungsworte mitgeteilt, die gleichzeitig durch passende oder unpassende bildliche Gesten ergänzt wurden. Dabei wurden EEG-Aufnahmen gemacht. Beim Vergleich der passenden mit den unpassenden Bedingungen war ein N400-Effekt festzustellen, d. h. Kinder integrieren multimodale semantische Informationen auf neuronaler Ebene so wie Erwachsene. „In einem Nachfolgeexperiment wollten wir herausfinden, ob und wie Kindern im Vergleich zu Erwachsenen bildliche Gesten helfen, um Sprache aus Störgeräuschen herauszufiltern“, so Prof. Özyürek. Den Probanden wurden bei unterschiedlich lauten Geräuschen Handlungswörter in drei Modalitäten präsentiert: nur als Sprache, als Sprache und Gesten bzw. rein visuell. Dann wurden sie gefragt, was sie gehört hatten. Die Ergebnisse in der Kategorie Genauigkeit zeigten, dass Erwachsene bei reiner Sprache sowie bei reinen Gesten – also unter verschlechterten Bedingungen – besser waren als die Kinder. Aber wenn Sprache mit Gesten kombiniert wurde, erreichten die Kinder bei schlechten Sprachsignalen das Niveau der Erwachsenen. „Unter ungünstigen Hörbedingungen ‚brauchen‘ Kinder also multimodale Informationsangebote, damit sie auf demselben Niveau wie Erwachsene unimodale Sprache verstehen können“, schlussfolgert Prof. Özyürek. Zudem gaben sowohl Erwachsene als auch Kinder ihre Antworten unter multimodalen Bedingungen schneller. Gesten könnten also eine Verbindung zwischen den Systemen des Verstehens und des Produzierens sein. Nächste Schritte Aktuell werden im Projekt EEG-Aufnahmen von Kindern gesammelt, die schlechte Sprachsignale mit und ohne Gesten hören. „So bekommen wir Einblicke, wo und wie das Gehirn von Kindern ähnlich wie das von Erwachsenen multimodale Signale kombinieren kann und auch wie Kinder unimodale oder multimodale Informationen nach dem Anschauen der Videos im Gedächtnis behalten“, erklärt Prof. Özyürek. ChildGesture will seine Untersuchungen außerdem auf Kinder mit Cochlea-Implantat ausweiten, da diese mehr visuelle Informationen brauchen als Kinder ohne Hörschädigung, besonders bei Störgeräuschen. Parallel dazu soll diese Untersuchung mit jüngeren Kindern durchgeführt werden, um herauszufinden, ob sich multimodale Integration als Eigenschaft erst entwickelt oder bereits bei der Geburt im Gehirn angelegt ist. Zu guter Letzt möchte das Team diese Untersuchung mit zweisprachigen Kindern durchführen. „Weitere Informationen über unsere Studien sind auf der Website Brain Imaging of Multimodal Communication in Development verfügbar, ergänzt Prof. Özyürek.
Schlüsselbegriffe
ChildGesture, Kinder, Gesten, Sprechen, multimodal, EEG, Sprache, neurokognitive Verarbeitung, Elektroenzephalografie, unimodal
