Skip to main content
Ir a la página de inicio de la Comisión Europea (se abrirá en una nueva ventana)
español español
CORDIS - Resultados de investigaciones de la UE
CORDIS

Cross-Modal Alignment for Semantic Processing and Effective Representation

Descripción del proyecto

Integrar la neurociencia y la inteligencia artificial para avanzar en la comprensión de la cognición humana

Comprender cómo procesa e integra el cerebro la información de los distintos sentidos es crucial para la neurociencia y la inteligencia artificial (IA). Mejorar los conocimientos podría dar lugar a aplicaciones revolucionarias en descodificación neuronal, tecnologías de asistencia e IA conversacional. Con el apoyo de las Acciones Marie Skłodowska-Curie, el equipo del proyecto CASPER fusionará la neurociencia cognitiva con técnicas punteras de IA. Empleará redes neuronales gráficas y grandes modelos lingüísticos para integrar y representar diversos tipos de datos, como texto, audio, voz, imágenes y señales neuronales (RMf, EEG y MEG). El objetivo de CASPER es ampliar los límites del aprendizaje multimodal y el registro de representaciones neuronales, lo que facilitará la reconstrucción del habla, la generación de contenidos multimodales y el aprendizaje sin ejemplos previos. Al alinear la IA con los patrones de actividad neuronal, en CASPER se ayudaría a redefinir la representación intermodal y la interpretación de las señales neuronales.

Objetivo

Cross-Modal Alignment for Semantic Processing and Effective Representation (CASPER) project is pioneering a novel framework that synergizes cognitive neuroscience with advanced artificial intelligence methodologies. By employing Graph Neural Networks (GNNs) and Large Language Models (LLMs), CASPER enables seamless integration and representation of diverse modalities, such as text, audio, speech, images, and neural signals, including fMRI, EEG, and MEG. The project’s core aim is to push the frontier of multimodal learning and neural representation decoding, facilitating complex tasks like speech reconstruction, cross-modal content generation, and zero-shot learning. Through the alignment of AI systems with neural activity patterns, CASPER strives to enhance our understanding of human cognition while unlocking groundbreaking applications in neural decoding, assistive technologies, and conversational AI. This transformative approach is poised to redefine the standards of cross-modal representation and neural signal interpretation, marking a significant advancement in the field.

Ámbito científico (EuroSciVoc)

CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..

Para utilizar esta función, debe iniciar sesión o registrarse

Palabras clave

Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).

Programa(s)

Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.

Tema(s)

Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.

Régimen de financiación

Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Ver todos los proyectos financiados en el marco de este régimen de financiación

Convocatoria de propuestas

Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.

(se abrirá en una nueva ventana) HORIZON-MSCA-2024-PF-01

Ver todos los proyectos financiados en el marco de esta convocatoria

Coordinador

UNIVERSITA CA' FOSCARI VENEZIA
Aportación neta de la UEn

Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.

€ 209 483,28
Coste total

Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.

Sin datos

Socios (2)

Mi folleto 0 0