Descripción del proyecto
Un puente entre la comunicación de personas sordas con personas con capacidad auditiva normal
Las personas sordas o con dificultades auditivas afrontan el reto de interactuar con las demás personas en situaciones de la vida real y, a menudo, quedan excluidas del acceso a la información en la sociedad. El proyecto financiado con fondos europeos SignON tiene como objetivo desarrollar una aplicación móvil que traducirá entre distintas lenguas de signos europeas y lenguas orales. La aplicación, un «software» ligero que funciona en dispositivos móviles estándares, interactuará con un marco distribuido basado en la nube específico para tareas informáticas intensas. La aplicación y el marco se diseñarán a través de un método de cocreación en el que los usuarios trabajarán junto con los investigadores e ingenieros de SignON. La aplicación se adaptará fácilmente a otras lenguas (de signos y orales) y modalidades y, en última instancia, promoverá un intercambio equitativo de información entre todos los ciudadanos europeos.
Objetivo
Nowadays any communication barrier is detrimental to society. This project will research and develop the SignON communication service that uses machine translation to translate between Sign and spoken languages. This service will facilitate the exchange of information among deaf and hard of hearing, and hearing individuals. In this user-centric and community-driven project we will tightly collaborate with European deaf and hard of hearing communities to (re)define use-cases, co-design and co-develop the SignON service and application, assess the quality and validate their acceptance. Our ultimate objective is the fair, unbiased and inclusive spread of information and digital content in European society.
Our project will develop a free, open application and framework for conversion between video (capturing and understanding Sign language), audio and text and translation between Sign and spoken languages. To facilitate these tasks we propose a common representation for mapping of video, audio and text into a unified space, that will be used for translating into the target modality and language. To ensure wide uptake, improved sign language detection and synthesis, as well as multilingual speech processing on mobile devices for everyone, we will deploy the SignON service as a smart phone application running on standard modern devices. We envisage the application as a light-weight interface. The SignON framework, however, will be distributed on the cloud where the computationally intensive tasks will be executed.The project will be driven by a focused set of use-cases tailored towards the deaf communities. We target the Irish, British, Dutch, Flemish and Spanish Sign and English, Irish, Dutch, Spanish spoken languages. However, SignON will incorporate sophisticated machine learning capabilities that will allow (i) learning new Sign, written and spoken languages; (ii) style-, domain- and user-adaptation and (iii) automatic error correction, based on user feedback
Ámbito científico
Palabras clave
Programa(s)
Convocatoria de propuestas
Consulte otros proyectos de esta convocatoriaConvocatoria de subcontratación
H2020-ICT-2020-2
Régimen de financiación
RIA - Research and Innovation actionCoordinador
9 Dublin
Irlanda