Projektbeschreibung
Schaffung empirischer Grundlagen für die Multimodalitätsforschung
In der Kommunikationswissenschaft sind Theorien zur Multimodalität auf dem Vormarsch, doch fehlt ihnen oft die empirische Grundlage. Dies ist auf den Mangel an großen, sorgfältig kommentierten multimodalen Datensätzen zurückzuführen, die für eine gründliche Analyse unerlässlich sind. Infolgedessen liegen vielen theoretischen Rahmenwerken in diesem Bereich eher Vermutungen als Beweise zugrunde. In diesem Zusammenhang soll im vom Europäischen Forschungsrat finanzierten Projekt FOUNDATIONS ein umfangreicher, kommentierter multimodaler Datensatz aus alltäglichen kulturellen Artefakten wie Videos in sozialen Medien und Zeitungen erstellt werden. Das Projektteam leistet Pionierarbeit bei der Entwicklung einer Methodik für die empirische Forschung. Es zerlegt mithilfe von Schwarmauslagerung von Mikroaufgaben und neurosymbolischer KI komplexe Aufgaben in überschaubare Teile und analysiert sie umfassend. Dieser Ansatz bereichert unser Verständnis von Multimodalität und bietet Einblicke in die Rolle von Medien, semiotischen Modi und Genres bei der Bedeutungsgebung.
Ziel
This project lays a foundation for conducting data-driven empirical research on multimodality, that is, how human communication and interaction rely on combinations of 'modes' of expression. Theories of multimodality are rapidly gaining currency in diverse fields concerned with human communication, interaction and cultural production. However, most theories of multimodality are based on conjecture and remain without an empirical foundation due to the lack of large, richly-annotated multimodal corpora and methods for their analysis.
FOUNDATIONS solves this problem by developing a novel methodology for conducting empirical research on multimodality in everyday cultural artefacts, such as newspapers, textbooks, magazines and social media videos. This methodology allows critically examining key theoretical concepts in the field medium, semiotic mode and genre and their joint contribution to meaning-making, which renews our understanding of key theoretical concepts in multimodality research and places their definitions on a solid empirical foundation.
To do so, FOUNDATIONS creates large and reproducible multimodal corpora using microtask crowdsourcing, which breaks complex tasks into piecemeal work and distributes this effort to non-expert workers on online platforms. These crowdsourced descriptions are combined with computational representations into graphs that represent the structure of multimodal discourse. For analysing these corpora, the project develops novel methods based on neuro-symbolic artificial intelligence, which enables combining crowdsourced human insights with the pattern recognition capability of neural networks.
The groundbreaking theoretical and methodological advances in FOUNDATIONS go far beyond state of the art by enabling large-scale empirical research while preserving analytical depth needed for multimodality research. This opens up new domains of inquiry for studying multimodality across cultures, situations, artefacts and timescales.
Schlüsselbegriffe
Programm/Programme
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Thema/Themen
Aufforderung zur Vorschlagseinreichung
(öffnet in neuem Fenster) ERC-2023-COG
Andere Projekte für diesen Aufruf anzeigenFinanzierungsplan
HORIZON-ERC - HORIZON ERC GrantsGastgebende Einrichtung
00014 HELSINGIN YLIOPISTO
Finnland