Ziel
In this project, we will develop new concepts and techniques to allow fast and natural access to multimedia databases. This will imply both the integration of available technologies in the domain of vocal interaction and multimedia information extraction, and the design and evaluation of novel technology for gesture designation and manipulation coupled with adequate graphical presentation logic.
Specific stress will be put in the project on producing:
(i) fully specified evaluation methods and protocols for multimodal interaction which can serve as a roadmap for the development of future devices and systems and
(ii) generic middleware components based on standardized exchange protocols.
The prototype which will be developed and evaluated thoroughly with various user groups, will serve as a test-bed for exploring new types of man-machine interactions and devices in the domain of information access applications.
Objectives:
The objective is to provide an integrated and comprehensive framework for the design of modular multidimensional/multimodal dialogue systems. It will be based on interaction scenario comprising constraints on the use of modalities, the relation with the underlying application and the graphical presentation procedures.
Human factor analysis will drive the development of the multimodal user interface.
Multilingual linguistic components will be provided and adapted by the partners. Besides, a haptic and tactile device for multidimensional interaction will be designed and integrated. The dialogue manager combines the information available from the application, the modality specific analysers and the graphical interface.
It will manage a user representation to integrate specific procedures for anaphora and deixis interpretation with robust dialogue management procedures.
Work description
The work within MIAMM will be achieved along the following lines:
* The MIAMM platform will be based upon the definition of a series of interaction scenarios for multidimensional interaction, comprising constraints on the use of modalities, the relation with the underlying application and the graphical presentation procedures that have to be implemented;
* A haptic and tactile device for multidimensional interaction will be designed and integrated within the platform after an initial evaluation phase of the current available technology.
This will be integrated into the prototype with an adequate visualization environment and gesture interpretation algorithms.
Fully multi-lingual understanding and generation components will be integrated within the MIAMM platform by incorporating and adapting the latest technologies in speech recognition and synthesis, and combining several alternative parsing technologies (statistical, automata, local syntax). Interface through the multimode interface language (MMIL) will result in language easily pluggable software modules.
A dialog manager will be designed to combine the information available from the underlying application, the language modules, the haptic device and the graphical interface.
Exchanging information by means of the MMIL language, it will manage its own user representation to integrate the latest scientific development concerning anaphora and deixis interpretation, as well as smooth dialog management to cope with both vocal and gesture interaction.
Human factor analysis will drive the development of the multi-modal user interface. For the haptic interaction human factor research has to find out for which purposes and actually how a person would use the haptic device. This will directly lead to semantic concepts related to haptic input and output gestures.
Milestones:
The projects milestones are after a requirements and specification phase of three months followed by the design and implementation phase planned for a duration of twelve months. After the second milestone a first prototype is available, that is evaluated and enhanced iteratively.
The final results are a working prototype and guidelines and evaluated best practice recommendations for the development of a multi-modal system.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
- Naturwissenschaften Informatik und Informationswissenschaften Software
- Naturwissenschaften Informatik und Informationswissenschaften Datenbank
- Sozialwissenschaften Psychologie Ergonomie
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Programm/Programme
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Thema/Themen
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderung zur Vorschlagseinreichung
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Daten nicht verfügbar
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Finanzierungsplan
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Koordinator
78153 LE CHESNAY
Frankreich
Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.