Cel
The project is aimed at developing an innovative processing system, involving stochastic models, spatial context modelling, and linguistics modelling, in order to achieve deep co-operation between gestural and verbal modalities in automatic interpretation tasks. The system should allow both streams to be efficiently merged with semantic and structural knowledge.
Input to the system will typically consist of two visual scenes, along with a related verbal input. The first visual scene will be a view of the user, allowing us to track his gestures. The second one will be an image of the scene to be described. The utterance will be sentences which designate or describe objects in the current scene. The system will have to interpret the user's gestures and speech messages conveying some information of the scene to be described. It must be able to update its internal representation of the scene, by retrieving which part of the scene is described.
To evaluate the system, we will define a multimodal corpus, based on specified scenarios. This evaluation consists in a measure of the capability of the system to interpret the multimodal input. For the first phase, we will use a pointing device in order to mark the pointed objects in each utterance composing the corpus. This will allow us to compare the marked objects with the objects found by the system. The measure will be the percentage of objects correctly identified.
% One of the main challenge of the Chameleon project is the integration of several domains going from Signal Processing to Artificial Intelligence, through Speech Recognition, Natural Language Processing, Image Processing, and Gesture Recognition. It requires the study and the realisation of a set of techniques and tools dealing with multimodal inputs and knowledge representation. It addresses processes of vision, linguistics, heterogeneous data fusion, and different modalities combination. In particular, it aims at developing:
- New systems of vision-based gesture recognition using stochastic models ;
- Novel computational model based on the modelling of the linguistic and spatial context, to provide a unified representation for the different types of information ;
- Realisation of a multimodal corpus to evaluate the system as a whole.
Besides, these developments can be beneficial to the enhancement of human-computer communication, pattern recognition methods, knowledge modelling approaches, and open the way to promising solutions for industrial applications on natural human-machine interfaces.
Dziedzina nauki (EuroSciVoc)
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
- nauki humanistyczne jękoznawstwo i literaturoznawstwo językoznawstwo
- inżynieria i technologia inżynieria elektryczna, inżynieria elektroniczna, inżynieria informatyczna inżynieria elektroniczna przetwarzanie sygnałów
- nauki przyrodnicze informatyka nauka o danych przetwarzanie języka naturalnego
- nauki przyrodnicze informatyka inżynieria wiedzy
- nauki przyrodnicze informatyka sztuczna inteligencja rozpoznawanie wzorców
Aby użyć tej funkcji, musisz się zalogować lub zarejestrować
Program(-y)
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
Temat(-y)
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
Zaproszenie do składania wniosków
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
Brak dostępnych danych
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
System finansowania
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
Koordynator
78370 Plaisir
Francja
Ogół kosztów poniesionych przez organizację w związku z uczestnictwem w projekcie. Obejmuje koszty bezpośrednie i pośrednie. Kwota stanowi część całkowitego budżetu projektu.