Description du projet
Construire des bases empiriques pour la recherche sur la multimodalité
Dans le domaine des études de communication, bien qu’en plein essor, les théories de la multimodalité manquent encore souvent de fondements empiriques. Cette lacune est due à la rareté des grands ensembles de données multimodales méticuleusement annotées, indispensables à une analyse rigoureuse. Par conséquent, de nombreux cadres théoriques dans ce domaine tendent à reposer sur des conjectures plutôt que sur des preuves. Dans ce contexte, le projet FOUNDATIONS, financé par le CER, élaborera un vaste ensemble de données multimodales annotées à partir d’artefacts culturels quotidiens, tels que les vidéos des médias sociaux et les journaux. Le projet inaugurera une méthodologie de recherche empirique. Grâce à la production participative de micro-tâches et à l’IA neuro-symbolique, il décomposera les tâches complexes en éléments gérables et les analysera de manière exhaustive. Cette approche enrichira notre compréhension de la multimodalité et permettra de mieux comprendre le rôle des supports, des modes sémiotiques et des genres dans la création de sens.
Objectif
This project lays a foundation for conducting data-driven empirical research on multimodality, that is, how human communication and interaction rely on combinations of 'modes' of expression. Theories of multimodality are rapidly gaining currency in diverse fields concerned with human communication, interaction and cultural production. However, most theories of multimodality are based on conjecture and remain without an empirical foundation due to the lack of large, richly-annotated multimodal corpora and methods for their analysis.
FOUNDATIONS solves this problem by developing a novel methodology for conducting empirical research on multimodality in everyday cultural artefacts, such as newspapers, textbooks, magazines and social media videos. This methodology allows critically examining key theoretical concepts in the field medium, semiotic mode and genre and their joint contribution to meaning-making, which renews our understanding of key theoretical concepts in multimodality research and places their definitions on a solid empirical foundation.
To do so, FOUNDATIONS creates large and reproducible multimodal corpora using microtask crowdsourcing, which breaks complex tasks into piecemeal work and distributes this effort to non-expert workers on online platforms. These crowdsourced descriptions are combined with computational representations into graphs that represent the structure of multimodal discourse. For analysing these corpora, the project develops novel methods based on neuro-symbolic artificial intelligence, which enables combining crowdsourced human insights with the pattern recognition capability of neural networks.
The groundbreaking theoretical and methodological advances in FOUNDATIONS go far beyond state of the art by enabling large-scale empirical research while preserving analytical depth needed for multimodality research. This opens up new domains of inquiry for studying multimodality across cultures, situations, artefacts and timescales.
Mots‑clés
Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).
Les mots-clés du projet tels qu’indiqués par le coordinateur du projet. À ne pas confondre avec la taxonomie EuroSciVoc (champ scientifique).
Programme(s)
Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.
Programmes de financement pluriannuels qui définissent les priorités de l’UE en matière de recherche et d’innovation.
-
HORIZON.1.1 - European Research Council (ERC)
PROGRAMME PRINCIPAL
Voir tous les projets financés dans le cadre de ce programme
Thème(s)
Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.
Les appels à propositions sont divisés en thèmes. Un thème définit un sujet ou un domaine spécifique dans le cadre duquel les candidats peuvent soumettre des propositions. La description d’un thème comprend sa portée spécifique et l’impact attendu du projet financé.
Régime de financement
Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.
Régime de financement (ou «type d’action») à l’intérieur d’un programme présentant des caractéristiques communes. Le régime de financement précise le champ d’application de ce qui est financé, le taux de remboursement, les critères d’évaluation spécifiques pour bénéficier du financement et les formes simplifiées de couverture des coûts, telles que les montants forfaitaires.
HORIZON-ERC - HORIZON ERC Grants
Voir tous les projets financés dans le cadre de ce programme de financement
Appel à propositions
Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.
Procédure par laquelle les candidats sont invités à soumettre des propositions de projet en vue de bénéficier d’un financement de l’UE.
(s’ouvre dans une nouvelle fenêtre) ERC-2023-COG
Voir tous les projets financés au titre de cet appelInstitution d’accueil
La contribution financière nette de l’UE est la somme d’argent que le participant reçoit, déduite de la contribution de l’UE versée à son tiers lié. Elle prend en compte la répartition de la contribution financière de l’UE entre les bénéficiaires directs du projet et d’autres types de participants, tels que les participants tiers.
00014 HELSINGIN YLIOPISTO
Finlande
Les coûts totaux encourus par l’organisation concernée pour participer au projet, y compris les coûts directs et indirects. Ce montant est un sous-ensemble du budget global du projet.