Ziel
The project is aimed at developing an innovative processing system, involving stochastic models, spatial context modelling, and linguistics modelling, in order to achieve deep co-operation between gestural and verbal modalities in automatic interpretation tasks. The system should allow both streams to be efficiently merged with semantic and structural knowledge.
Input to the system will typically consist of two visual scenes, along with a related verbal input. The first visual scene will be a view of the user, allowing us to track his gestures. The second one will be an image of the scene to be described. The utterance will be sentences which designate or describe objects in the current scene. The system will have to interpret the user's gestures and speech messages conveying some information of the scene to be described. It must be able to update its internal representation of the scene, by retrieving which part of the scene is described.
To evaluate the system, we will define a multimodal corpus, based on specified scenarios. This evaluation consists in a measure of the capability of the system to interpret the multimodal input. For the first phase, we will use a pointing device in order to mark the pointed objects in each utterance composing the corpus. This will allow us to compare the marked objects with the objects found by the system. The measure will be the percentage of objects correctly identified.
% One of the main challenge of the Chameleon project is the integration of several domains going from Signal Processing to Artificial Intelligence, through Speech Recognition, Natural Language Processing, Image Processing, and Gesture Recognition. It requires the study and the realisation of a set of techniques and tools dealing with multimodal inputs and knowledge representation. It addresses processes of vision, linguistics, heterogeneous data fusion, and different modalities combination. In particular, it aims at developing:
- New systems of vision-based gesture recognition using stochastic models ;
- Novel computational model based on the modelling of the linguistic and spatial context, to provide a unified representation for the different types of information ;
- Realisation of a multimodal corpus to evaluate the system as a whole.
Besides, these developments can be beneficial to the enhancement of human-computer communication, pattern recognition methods, knowledge modelling approaches, and open the way to promising solutions for industrial applications on natural human-machine interfaces.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
- Geisteswissenschaften Sprachen und Literatur Sprachwissenschaft
- Technik und Technologie Elektrotechnik, Elektronik, Informationstechnik Elektrotechnik Signalverarbeitung
- Naturwissenschaften Informatik und Informationswissenschaften Datenwissenschaften Verarbeitung natürlicher Sprache
- Naturwissenschaften Informatik und Informationswissenschaften Wissensverarbeitung
- Naturwissenschaften Informatik und Informationswissenschaften künstliche Intelligenz Mustererkennung
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Programm/Programme
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Thema/Themen
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderung zur Vorschlagseinreichung
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Daten nicht verfügbar
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Finanzierungsplan
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Koordinator
78370 Plaisir
Frankreich
Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.