Descripción del proyecto
Experiencias de realidad extendida que combinan visión y sonido
Las tecnologías de realidad extendida (RX) están a punto de dominar la escena de la interacción entre personas y ordenadores al superar los métodos tradicionales. Otros dos campos que están experimentando un crecimiento similar son el procesamiento del lenguaje natural (PLN) y la visión artificial, sobre todo debido a la aparición de métodos basados en datos en los ámbitos del aprendizaje automático y la inteligencia artificial (IA). El equipo del proyecto VOXreality pretende fusionar estos campos paralelos para diseñar y desarrollar modelos de IA que integren el lenguaje como un medio de interacción central, junto con la comprensión visual. Su objetivo es crear modelos de RX entrenados previamente que combinen el conocimiento espacial y semántico de los sistemas de RX y PNL. Esto podría iniciar una nueva era de aplicaciones creadas en torno a la comprensión holística de los objetivos de los usuarios, lejos de los dispositivos y controladores.
Objetivo
VOXReality is an ambitious project whose goal will be to facilitate and exploit the convergence of two important technologies, natural language processing (NLP) and computer vision (CV). Both technologies are experiencing a huge performance increase due to the emergence of data-driven methods, specifically machine learning (ML) and artificial intelligence (AI). On the one hand, CV/ML are driving the extended reality (XR) revolution beyond what was possible up to now, and, on the other, speech-based interfaces and text-based content understanding are revolutionising human-machine and human-human interaction. VOXReality will employ an economical approach to combine these two. VOXReality will pursue the integration of language- and vision-based AI models with either unidirectional or bidirectional exchanges between the two modalities. Vision systems drive both AR and VR, while language understanding adds a natural way for humans to interact with the back-ends of XR systems or create multimodal XR experiences combining vision and sound. The results of the project will be twofold: 1) a set of pretrained next-generation XR models combining, in various levels and ways, language and vision AI and enabling richer, more natural immersive experiences that are expected to boost XR adoption, and 2) a set of applications using these models to demonstrate innovations in various sectors. The above technologies will be validated through three use cases: 1) Personal Assistants that are an emerging type of digital technology that seeks to support humans in their daily tasks, with their core functionalities related to human-to-machine interaction; 2) Virtual Conferences that are completely hosted and run online, typically using a virtual conferencing platform that sets up a shared virtual environment, allowing their attendees to view or participate from anywhere in the world; 3) Theaters where VOXReality will combine language translation, audiovisual user associations and AR VFX triggered by predetermined speech.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: https://op.europa.eu/es/web/eu-vocabularies/euroscivoc.
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: https://op.europa.eu/es/web/eu-vocabularies/euroscivoc.
- ciencias sociales ciencias políticas transiciones políticas revoluciones
- humanidades artes espectáculos dramaturgia
Para utilizar esta función, debe iniciar sesión o registrarse
Le pedimos disculpas, pero se ha producido un error inesperado durante la ejecución.
Necesita estar autentificado. Puede que su sesión haya finalizado.
Gracias por su comentario. En breve recibirá un correo electrónico para confirmar el envío. Si ha seleccionado que se le notifique sobre el estado del informe, también se le contactará cuando el estado del informe cambie.
Palabras clave
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Programa(s)
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
-
HORIZON.2.4 - Digital, Industry and Space
PROGRAMA PRINCIPAL
Ver todos los proyectos financiados en el marco de este programa -
HORIZON.2.4.6 - Next Generation Internet
Ver todos los proyectos financiados en el marco de este programa
Tema(s)
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Régimen de financiación
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
HORIZON-RIA - HORIZON Research and Innovation Actions
Ver todos los proyectos financiados en el marco de este régimen de financiación
Convocatoria de propuestas
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
(se abrirá en una nueva ventana) HORIZON-CL4-2021-HUMAN-01
Ver todos los proyectos financiados en el marco de esta convocatoriaCoordinador
Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.
47822 SANTARCANGELO DI ROMAGNA
Italia
Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.