Obiettivo
The project is aimed at developing an innovative processing system, involving stochastic models, spatial context modelling, and linguistics modelling, in order to achieve deep co-operation between gestural and verbal modalities in automatic interpretation tasks. The system should allow both streams to be efficiently merged with semantic and structural knowledge.
Input to the system will typically consist of two visual scenes, along with a related verbal input. The first visual scene will be a view of the user, allowing us to track his gestures. The second one will be an image of the scene to be described. The utterance will be sentences which designate or describe objects in the current scene. The system will have to interpret the user's gestures and speech messages conveying some information of the scene to be described. It must be able to update its internal representation of the scene, by retrieving which part of the scene is described.
To evaluate the system, we will define a multimodal corpus, based on specified scenarios. This evaluation consists in a measure of the capability of the system to interpret the multimodal input. For the first phase, we will use a pointing device in order to mark the pointed objects in each utterance composing the corpus. This will allow us to compare the marked objects with the objects found by the system. The measure will be the percentage of objects correctly identified.
% One of the main challenge of the Chameleon project is the integration of several domains going from Signal Processing to Artificial Intelligence, through Speech Recognition, Natural Language Processing, Image Processing, and Gesture Recognition. It requires the study and the realisation of a set of techniques and tools dealing with multimodal inputs and knowledge representation. It addresses processes of vision, linguistics, heterogeneous data fusion, and different modalities combination. In particular, it aims at developing:
- New systems of vision-based gesture recognition using stochastic models ;
- Novel computational model based on the modelling of the linguistic and spatial context, to provide a unified representation for the different types of information ;
- Realisation of a multimodal corpus to evaluate the system as a whole.
Besides, these developments can be beneficial to the enhancement of human-computer communication, pattern recognition methods, knowledge modelling approaches, and open the way to promising solutions for industrial applications on natural human-machine interfaces.
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
- scienze umanistiche lingue e letteratura linguistica
- ingegneria e tecnologia ingegneria elettrica, ingegneria elettronica, ingegneria informatica ingegneria elettronica elaborazione del segnale
- scienze naturali informatica e scienze dell'informazione scienza dei dati elaborazione del linguaggio naturale
- scienze naturali informatica e scienze dell'informazione ingegneria della conoscenza
- scienze naturali informatica e scienze dell'informazione intelligenza artificiale riconoscimento delle forme
È necessario effettuare l’accesso o registrarsi per utilizzare questa funzione
Programma(i)
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
Argomento(i)
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Invito a presentare proposte
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
Dati non disponibili
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
Meccanismo di finanziamento
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
Coordinatore
78370 Plaisir
Francia
I costi totali sostenuti dall’organizzazione per partecipare al progetto, compresi i costi diretti e indiretti. Questo importo è un sottoinsieme del bilancio complessivo del progetto.