Description du projet
Construire des bases empiriques pour la recherche sur la multimodalité
Dans le domaine des études de communication, bien qu’en plein essor, les théories de la multimodalité manquent encore souvent de fondements empiriques. Cette lacune est due à la rareté des grands ensembles de données multimodales méticuleusement annotées, indispensables à une analyse rigoureuse. Par conséquent, de nombreux cadres théoriques dans ce domaine tendent à reposer sur des conjectures plutôt que sur des preuves. Dans ce contexte, le projet FOUNDATIONS, financé par le CER, élaborera un vaste ensemble de données multimodales annotées à partir d’artefacts culturels quotidiens, tels que les vidéos des médias sociaux et les journaux. Le projet inaugurera une méthodologie de recherche empirique. Grâce à la production participative de micro-tâches et à l’IA neuro-symbolique, il décomposera les tâches complexes en éléments gérables et les analysera de manière exhaustive. Cette approche enrichira notre compréhension de la multimodalité et permettra de mieux comprendre le rôle des supports, des modes sémiotiques et des genres dans la création de sens.
Objectif
This project lays a foundation for conducting data-driven empirical research on multimodality, that is, how human communication and interaction rely on combinations of 'modes' of expression. Theories of multimodality are rapidly gaining currency in diverse fields concerned with human communication, interaction and cultural production. However, most theories of multimodality are based on conjecture and remain without an empirical foundation due to the lack of large, richly-annotated multimodal corpora and methods for their analysis.
FOUNDATIONS solves this problem by developing a novel methodology for conducting empirical research on multimodality in everyday cultural artefacts, such as newspapers, textbooks, magazines and social media videos. This methodology allows critically examining key theoretical concepts in the field medium, semiotic mode and genre and their joint contribution to meaning-making, which renews our understanding of key theoretical concepts in multimodality research and places their definitions on a solid empirical foundation.
To do so, FOUNDATIONS creates large and reproducible multimodal corpora using microtask crowdsourcing, which breaks complex tasks into piecemeal work and distributes this effort to non-expert workers on online platforms. These crowdsourced descriptions are combined with computational representations into graphs that represent the structure of multimodal discourse. For analysing these corpora, the project develops novel methods based on neuro-symbolic artificial intelligence, which enables combining crowdsourced human insights with the pattern recognition capability of neural networks.
The groundbreaking theoretical and methodological advances in FOUNDATIONS go far beyond state of the art by enabling large-scale empirical research while preserving analytical depth needed for multimodality research. This opens up new domains of inquiry for studying multimodality across cultures, situations, artefacts and timescales.
Programme(s)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Appel à propositions
(s’ouvre dans une nouvelle fenêtre) ERC-2023-COG
Voir d’autres projets de cet appelRégime de financement
HORIZON-ERC - HORIZON ERC GrantsInstitution d’accueil
00014 HELSINGIN YLIOPISTO
Finlande