Skip to main content
Weiter zur Homepage der Europäischen Kommission (öffnet in neuem Fenster)
Deutsch de
CORDIS - Forschungsergebnisse der EU
CORDIS
Inhalt archiviert am 2022-11-15

Multilingual Speech to Face-Movements Transformation for Use as a Training System in Lip-reading and Language Acquisition and as a Basis for a New Telecommunication Service

Ziel

The objective is to develop a telecommunication service for hearing impaired persons which converts the speech, issued from a telephone, in a synthetic animation of a face to allow lip-reading

Interpersonal communication between a hearing person and a hard of hearing person is only possible if the speech is converted into visual information which can be understood by the disabled person. The concept of SPLIT is to convert the speech signal provided by telephone lines into a synthetic animation of a face.

The aims are to design, develop and test two applications:

a) a prototype service of conversion (Relay Mediation Service) and the terminal
b) a PC station prototype for Lip-reading training and language acquisition with Cued Speech (Cued Speech is a coding system adapted to 42 languages which facilitates lip-reading)

Both systems are based on conversion of speech analogue signal into lip readable animation of a mouth image on the terminal screen. the 'SPLIT' terminal represents a significant aid for multilingual training, and enhanced telephone communications.

Technical Approach : Since the analogue speech signal reaching the 'SPLIT' terminal is corrupted, suitable filtering algorithms are to be devised to restore acceptable quality speech digital conversion. The algorithms for speech processing and lip movements will be defined, implemented, tested and tuned in the context of a constant interaction with the end user associations which will provide the necessary expertise and the specific know-how. Moreover, these conversion algorithms will be designed in such a way that they are able to work in the telephone environment ('Telephone speech signal'). That ensures the possibility of integration and testing in the Mediation Relay Service (Italian Language).

The main project outcomes will consist of software packages to perform the following speech-to-face movement transformation. This software package will be integrated on a PC architecture for training application and prototype Relay Mediation Service.

Impact and Expected Results : Multimedia approaches to interpersonal communication represent a formidable means of overcoming most of the impairments affecting communication with older and disabled people. The medium goal of this project is the deployment of the existing telephone network for new services oriented to hearing-impaired persons, by means of low cost acoustic-to-visual conversion.

This innovative conversion will be experimented during this project in training application to show the pertinence of such transformation for language acquisition and training of lip-reading.

Wissenschaftliches Gebiet (EuroSciVoc)

CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.

Dieses Projekt wurde noch nicht bei EuroSciVoc klassifiziert.
Schlagen Sie die Wissenschaftsbereiche vor, die Ihrer Einschätzung nach besonders relevant sind, und helfen Sie uns, unseren Klassifizierungsdienst zu verbessern.

Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen

Programm/Programme

Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.

Thema/Themen

Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.

Aufforderung zur Vorschlagseinreichung

Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.

Daten nicht verfügbar

Finanzierungsplan

Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.

CSC - Cost-sharing contracts

Koordinator

Association Nationale des Parents d'Enfants Déficients Auditifs (ANPEDA)
EU-Beitrag
Keine Daten
Adresse
10 Quai de la Charente
75019 Paris
Frankreich

Auf der Karte ansehen

Gesamtkosten

Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.

Keine Daten

Beteiligte (7)

Mein Booklet 0 0