Skip to main content
Przejdź do strony domowej Komisji Europejskiej (odnośnik otworzy się w nowym oknie)
polski pl
CORDIS - Wyniki badań wspieranych przez UE
CORDIS
Zawartość zarchiwizowana w dniu 2022-11-15

Multilingual Speech to Face-Movements Transformation for Use as a Training System in Lip-reading and Language Acquisition and as a Basis for a New Telecommunication Service

Cel

The objective is to develop a telecommunication service for hearing impaired persons which converts the speech, issued from a telephone, in a synthetic animation of a face to allow lip-reading

Interpersonal communication between a hearing person and a hard of hearing person is only possible if the speech is converted into visual information which can be understood by the disabled person. The concept of SPLIT is to convert the speech signal provided by telephone lines into a synthetic animation of a face.

The aims are to design, develop and test two applications:

a) a prototype service of conversion (Relay Mediation Service) and the terminal
b) a PC station prototype for Lip-reading training and language acquisition with Cued Speech (Cued Speech is a coding system adapted to 42 languages which facilitates lip-reading)

Both systems are based on conversion of speech analogue signal into lip readable animation of a mouth image on the terminal screen. the 'SPLIT' terminal represents a significant aid for multilingual training, and enhanced telephone communications.

Technical Approach : Since the analogue speech signal reaching the 'SPLIT' terminal is corrupted, suitable filtering algorithms are to be devised to restore acceptable quality speech digital conversion. The algorithms for speech processing and lip movements will be defined, implemented, tested and tuned in the context of a constant interaction with the end user associations which will provide the necessary expertise and the specific know-how. Moreover, these conversion algorithms will be designed in such a way that they are able to work in the telephone environment ('Telephone speech signal'). That ensures the possibility of integration and testing in the Mediation Relay Service (Italian Language).

The main project outcomes will consist of software packages to perform the following speech-to-face movement transformation. This software package will be integrated on a PC architecture for training application and prototype Relay Mediation Service.

Impact and Expected Results : Multimedia approaches to interpersonal communication represent a formidable means of overcoming most of the impairments affecting communication with older and disabled people. The medium goal of this project is the deployment of the existing telephone network for new services oriented to hearing-impaired persons, by means of low cost acoustic-to-visual conversion.

This innovative conversion will be experimented during this project in training application to show the pertinence of such transformation for language acquisition and training of lip-reading.

Dziedzina nauki (EuroSciVoc)

Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.

Projekt nie został jeszcze sklasyfikowany według klasyfikacji EuroSciVoc.
Wskaż dziedziny nauki, które twoim zdaniem są najbardziej istotne z punktu widzenia tego projektu i pomóż nam usprawnić naszą usługę klasyfikacji.

Aby użyć tej funkcji, musisz się zalogować lub zarejestrować

Program(-y)

Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.

Temat(-y)

Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.

Zaproszenie do składania wniosków

Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.

Brak dostępnych danych

System finansowania

Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.

CSC - Cost-sharing contracts

Koordynator

Association Nationale des Parents d'Enfants Déficients Auditifs (ANPEDA)
Wkład UE
Brak danych
Adres
10 Quai de la Charente
75019 Paris
Francja

Zobacz na mapie

Koszt całkowity

Ogół kosztów poniesionych przez organizację w związku z uczestnictwem w projekcie. Obejmuje koszty bezpośrednie i pośrednie. Kwota stanowi część całkowitego budżetu projektu.

Brak danych

Uczestnicy (7)

Moja broszura 0 0