Skip to main content
European Commission logo print header

SignON - Sign Language Translation Mobile Application and Open Communications Framework

Projektbeschreibung

Der kommunikative Lückenschluss zwischen Gehörlosen und Hörenden

Gehörlose oder schwerhörige Menschen stehen der Herausforderung gegenüber, mit anderen in alltäglichen Situationen interagieren zu müssen, und sind oft von den Informationsflüssen der Gesellschaft abgeschnitten. Das EU-finanzierte Projekt SignON möchte eine mobile Anwendung entwickeln, die zwischen europäischen Gebärdensprachen und gesprochenen Sprachen übersetzt. Bei der Anwendung soll es sich um eine leichtgewichtige Software handeln, die auf herkömmlichen Mobilgeräten läuft und mit einem cloudbasierten verteilten Framework interagiert, das allein den rechenintensiven Aufgaben gewidmet ist. Die Anwendung und das Framework werden im Rahmen eines kooperativen Ansatzes entwickelt werden, bei dem die Nutzenden mit dem Forschungs- und Technikteam von SignON zusammenarbeiten. Sie wird leicht an andere Sprachen (sowohl Gebärdensprachen als auch gesprochene Sprachen) und Ausführungsarten anpassbar sein und letztendlich den gleichberechtigten Informationsaustausch zwischen allen Bürgerinnen und Bürgern Europas fördern.

Ziel

Nowadays any communication barrier is detrimental to society. This project will research and develop the SignON communication service that uses machine translation to translate between Sign and spoken languages. This service will facilitate the exchange of information among deaf and hard of hearing, and hearing individuals. In this user-centric and community-driven project we will tightly collaborate with European deaf and hard of hearing communities to (re)define use-cases, co-design and co-develop the SignON service and application, assess the quality and validate their acceptance. Our ultimate objective is the fair, unbiased and inclusive spread of information and digital content in European society.
Our project will develop a free, open application and framework for conversion between video (capturing and understanding Sign language), audio and text and translation between Sign and spoken languages. To facilitate these tasks we propose a common representation for mapping of video, audio and text into a unified space, that will be used for translating into the target modality and language. To ensure wide uptake, improved sign language detection and synthesis, as well as multilingual speech processing on mobile devices for everyone, we will deploy the SignON service as a smart phone application running on standard modern devices. We envisage the application as a light-weight interface. The SignON framework, however, will be distributed on the cloud where the computationally intensive tasks will be executed.The project will be driven by a focused set of use-cases tailored towards the deaf communities. We target the Irish, British, Dutch, Flemish and Spanish Sign and English, Irish, Dutch, Spanish spoken languages. However, SignON will incorporate sophisticated machine learning capabilities that will allow (i) learning new Sign, written and spoken languages; (ii) style-, domain- and user-adaptation and (iii) automatic error correction, based on user feedback

Aufforderung zur Vorschlagseinreichung

H2020-ICT-2018-20

Andere Projekte für diesen Aufruf anzeigen

Unterauftrag

H2020-ICT-2020-2

Koordinator

DUBLIN CITY UNIVERSITY
Netto-EU-Beitrag
€ 430 755,00
Adresse
Glasnevin
9 Dublin
Irland

Auf der Karte ansehen

Region
Ireland Eastern and Midland Dublin
Aktivitätstyp
Higher or Secondary Education Establishments
Links
Gesamtkosten
€ 430 755,00

Beteiligte (16)