Ziel
The objective of THISL is to show the feasibility of integrating state of the art Natural Language Processing (NLP) and Large Vocabulary Continuous Speech Recognition (LVCSR) technologies, towards advanced multimedia applications. In this framework, the present proposal will focus on R&D aimed at retrieving multimedia information (written or spoken text) using a spoken language interface.
The industrial relevance of such an application is apparent and was made very clear by the huge interest raised by the Carnegie Mellon University (CMU) Informedia realtime "news-on-demand" demonstration at the recent ARPA Spoken Language Technology meeting (Feb 1996, Arden House NY). The indexing and retrieval of television, radio and text news via a spoken language interface is a particularly compelling application which should be demonstrated at the end of this project. This technology would have potential applications with the advent of 500-channels and interactive TV. It could offer real-time, content-based access to ongoing programmes through their soundtrack, or sound-based navigation in the programme network.
The expected result of the project is a real-time prototype system for navigating in the soundtrack of a TV news broadcast. Significant intermediate results will include transcription of broadcast speech, development of audio editing tools, content-based retrieval from audio/video archives and a robust spoken language interface for search and retrieval of multimedia data.
The general approach will involve the integration of the LVCSR technology developed in the ESPRIT WERNICKE Basic Research project and the NLP technology developed by Thomson for spoken query understanding. A substantial output of the WERNICKE project was a flexible, efficient and accurate LVCSR system (able to handle open lexica) achieved through a new technology combining hidden Markov models (HMMs) and artificial neural networks (ANNs).
In terms of research, the current project will also directly benefit from the ongoing LTR SPRACH (20077) project aiming at further improving HMM/ANN-based LVCSR systems. As a consequence, most of the remaining work will focus on problems arising from the application domain and the integration of speech and language, particularly: (1) increasing robustness of the speech recognise on multimedia and broadcast speech (e.g. presence of music, mix of studio and telephone speech), (2) phrase and keyword spotting, and (3) the robust processing of spoken queries aimed at soundtrack transcripts.
The consortium has six proposers, with a clear interest in that application but with complementary areas of expertise. Sheffield University (SU), UK, has a large expertise in large vocabulary speech recognition, with particular emphasis on language modelling. The British Broadcasting Corporation (BBC), UK, has a great experience and interest in audio and video signal processing. As well as having access to large speech files, the BBC has considerable expertise in the editing and indexing of broadcast material, and an understanding of what is required and might be beneficial for the broadcast industry. Their main interests in this project are: (1) automatic indexing of broadcast news, and (2) automatic retrieval of video data by locating keywords in the audio track.
The Faculté Polytechnique de Mons (FPMs), B, has a large expertise in speech recognition, with particular emphasis on hybrid HMM/ANN speech recognition systems and keyword spotting. SoftSound, UK, is a start-up company interested in the integration of the different technologies and the development of a real-time demonstration system. Thomson-CSF/LCR, F, has a large experience in human-computer dialogue, speech understanding and natural language processing. IDIAP, CH, has considerable experience in speech and speaker recognition; its primary role will be to adapt the techniques to French speech. THISL will also benefit from further collaboration with their WERNICKE and SPRACH subcontractor ICSI (Berkeley CA, USA), which has been shown particularly successful in terms of technical input, as well as advanced software and hardware tools.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
- Naturwissenschaften Informatik und Informationswissenschaften Software
- Technik und Technologie Elektrotechnik, Elektronik, Informationstechnik Elektrotechnik Signalverarbeitung
- Naturwissenschaften Informatik und Informationswissenschaften Datenwissenschaften Verarbeitung natürlicher Sprache
- Naturwissenschaften Informatik und Informationswissenschaften künstliche Intelligenz Computational Intelligence
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Programm/Programme
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Thema/Themen
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderung zur Vorschlagseinreichung
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Daten nicht verfügbar
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Finanzierungsplan
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Koordinator
S10 2OH Sheffield
Vereinigtes Königreich
Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.