Descripción del proyecto
Sentar las bases empíricas de la investigación sobre la multimodalidad
En el ámbito de los estudios de la comunicación, las teorías de la multimodalidad están floreciendo, aunque a menudo carecen de fundamentos empíricos. Esta deficiencia se debe a la escasez de conjuntos de datos multimodales grandes y meticulosamente anotados, esenciales para un análisis riguroso. Por lo tanto, muchos marcos teóricos en este campo se basan en conjeturas más que en pruebas. En este contexto, el equipo del proyecto FOUNDATIONS, financiado por el CEI, creará un amplio conjunto de datos multimodales anotados a partir de objetos cotidianos de interés cultural, como vídeos de redes sociales y periódicos. El proyecto es pionero en una metodología de investigación empírica. Mediante la colaboración masiva de microtareas y la IA neurosimbólica, se diseccionan tareas complejas en partes manejables y se las analiza de manera exhaustiva. Este método enriquece nuestra comprensión de la multimodalidad y nos permite entender mejor el papel de los medios, los modos semióticos y los géneros en la creación de los significados.
Objetivo
This project lays a foundation for conducting data-driven empirical research on multimodality, that is, how human communication and interaction rely on combinations of 'modes' of expression. Theories of multimodality are rapidly gaining currency in diverse fields concerned with human communication, interaction and cultural production. However, most theories of multimodality are based on conjecture and remain without an empirical foundation due to the lack of large, richly-annotated multimodal corpora and methods for their analysis.
FOUNDATIONS solves this problem by developing a novel methodology for conducting empirical research on multimodality in everyday cultural artefacts, such as newspapers, textbooks, magazines and social media videos. This methodology allows critically examining key theoretical concepts in the field medium, semiotic mode and genre and their joint contribution to meaning-making, which renews our understanding of key theoretical concepts in multimodality research and places their definitions on a solid empirical foundation.
To do so, FOUNDATIONS creates large and reproducible multimodal corpora using microtask crowdsourcing, which breaks complex tasks into piecemeal work and distributes this effort to non-expert workers on online platforms. These crowdsourced descriptions are combined with computational representations into graphs that represent the structure of multimodal discourse. For analysing these corpora, the project develops novel methods based on neuro-symbolic artificial intelligence, which enables combining crowdsourced human insights with the pattern recognition capability of neural networks.
The groundbreaking theoretical and methodological advances in FOUNDATIONS go far beyond state of the art by enabling large-scale empirical research while preserving analytical depth needed for multimodality research. This opens up new domains of inquiry for studying multimodality across cultures, situations, artefacts and timescales.
Palabras clave
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Programa(s)
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
-
HORIZON.1.1 - European Research Council (ERC)
PROGRAMA PRINCIPAL
Ver todos los proyectos financiados en el marco de este programa
Tema(s)
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Régimen de financiación
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
HORIZON-ERC - HORIZON ERC Grants
Ver todos los proyectos financiados en el marco de este régimen de financiación
Convocatoria de propuestas
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
(se abrirá en una nueva ventana) ERC-2023-COG
Ver todos los proyectos financiados en el marco de esta convocatoriaInstitución de acogida
Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.
00014 HELSINGIN YLIOPISTO
Finlandia
Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.