Skip to main content
Vai all'homepage della Commissione europea (si apre in una nuova finestra)
italiano it
CORDIS - Risultati della ricerca dell’UE
CORDIS

A Foundation for Empirical Multimodality Research

Descrizione del progetto

Creare basi empiriche per la ricerca sulla multimodalità

Nel campo degli studi sulla comunicazione, le teorie sulla multimodalità sono in crescita, ma spesso mancano di basi empiriche. Questa carenza deriva dalla scarsità di grandi insiemi di dati multimodali annotati in modo meticoloso, essenziali per un’analisi rigorosa. Di conseguenza, molti quadri teorici in questo campo sono basati su congetture piuttosto che su prove. In questo contesto, il progetto FOUNDATIONS, finanziato dal CER, creerà un ampio set di dati multimodali commentati a partire da artefatti culturali quotidiani, quali i video dei social media e i giornali. Il progetto apre la strada a una metodologia di ricerca empirica. Grazie al crowdsourcing dei microtask e all’IA neuro-simbolica, il progetto seziona incarichi complessi in parti gestibili e le analizza in modo completo. Questo approccio arricchisce la nostra comprensione della multimodalità e offre spunti di riflessione sui mezzi, le modalità semiotiche e i ruoli dei generi nella creazione di significato.

Obiettivo

This project lays a foundation for conducting data-driven empirical research on multimodality, that is, how human communication and interaction rely on combinations of 'modes' of expression. Theories of multimodality are rapidly gaining currency in diverse fields concerned with human communication, interaction and cultural production. However, most theories of multimodality are based on conjecture and remain without an empirical foundation due to the lack of large, richly-annotated multimodal corpora and methods for their analysis.

FOUNDATIONS solves this problem by developing a novel methodology for conducting empirical research on multimodality in everyday cultural artefacts, such as newspapers, textbooks, magazines and social media videos. This methodology allows critically examining key theoretical concepts in the field – medium, semiotic mode and genre – and their joint contribution to meaning-making, which renews our understanding of key theoretical concepts in multimodality research and places their definitions on a solid empirical foundation.

To do so, FOUNDATIONS creates large and reproducible multimodal corpora using microtask crowdsourcing, which breaks complex tasks into piecemeal work and distributes this effort to non-expert workers on online platforms. These crowdsourced descriptions are combined with computational representations into graphs that represent the structure of multimodal discourse. For analysing these corpora, the project develops novel methods based on neuro-symbolic artificial intelligence, which enables combining crowdsourced human insights with the pattern recognition capability of neural networks.

The groundbreaking theoretical and methodological advances in FOUNDATIONS go far beyond state of the art by enabling large-scale empirical research while preserving analytical depth needed for multimodality research. This opens up new domains of inquiry for studying multimodality across cultures, situations, artefacts and timescales.

Campo scientifico (EuroSciVoc)

Questo progetto non è ancora stato classificato con EuroSciVoc.
Suggerisci i campi scientifici che ritieni più rilevanti e aiutaci a migliorare il nostro servizio di classificazione.

Parole chiave

Programma(i)

Argomento(i)

Meccanismo di finanziamento

HORIZON-ERC - HORIZON ERC Grants

Vedi tutti i progetti finanziati nell’ambito di questo schema di finanziamento

Invito a presentare proposte

(si apre in una nuova finestra) ERC-2023-COG

Vedi tutti i progetti finanziati nell’ambito del bando

Istituzione ospitante

HELSINGIN YLIOPISTO
Contributo netto dell'UE
€ 1 999 974,00
Indirizzo
FABIANINKATU 33
00014 Helsinki
Finlandia
Regione
Manner-Suomi Helsinki-Uusimaa Helsinki-Uusimaa
Tipo di attività
Higher or Secondary Education Establishments
Collegamenti
Costo totale
€ 1 999 974,00

Beneficiari (1)