Obiettivo
The objective of THISL is to show the feasibility of integrating state of the art Natural Language Processing (NLP) and Large Vocabulary Continuous Speech Recognition (LVCSR) technologies, towards advanced multimedia applications. In this framework, the present proposal will focus on R&D aimed at retrieving multimedia information (written or spoken text) using a spoken language interface.
The industrial relevance of such an application is apparent and was made very clear by the huge interest raised by the Carnegie Mellon University (CMU) Informedia realtime "news-on-demand" demonstration at the recent ARPA Spoken Language Technology meeting (Feb 1996, Arden House NY). The indexing and retrieval of television, radio and text news via a spoken language interface is a particularly compelling application which should be demonstrated at the end of this project. This technology would have potential applications with the advent of 500-channels and interactive TV. It could offer real-time, content-based access to ongoing programmes through their soundtrack, or sound-based navigation in the programme network.
The expected result of the project is a real-time prototype system for navigating in the soundtrack of a TV news broadcast. Significant intermediate results will include transcription of broadcast speech, development of audio editing tools, content-based retrieval from audio/video archives and a robust spoken language interface for search and retrieval of multimedia data.
The general approach will involve the integration of the LVCSR technology developed in the ESPRIT WERNICKE Basic Research project and the NLP technology developed by Thomson for spoken query understanding. A substantial output of the WERNICKE project was a flexible, efficient and accurate LVCSR system (able to handle open lexica) achieved through a new technology combining hidden Markov models (HMMs) and artificial neural networks (ANNs).
In terms of research, the current project will also directly benefit from the ongoing LTR SPRACH (20077) project aiming at further improving HMM/ANN-based LVCSR systems. As a consequence, most of the remaining work will focus on problems arising from the application domain and the integration of speech and language, particularly: (1) increasing robustness of the speech recognise on multimedia and broadcast speech (e.g. presence of music, mix of studio and telephone speech), (2) phrase and keyword spotting, and (3) the robust processing of spoken queries aimed at soundtrack transcripts.
The consortium has six proposers, with a clear interest in that application but with complementary areas of expertise. Sheffield University (SU), UK, has a large expertise in large vocabulary speech recognition, with particular emphasis on language modelling. The British Broadcasting Corporation (BBC), UK, has a great experience and interest in audio and video signal processing. As well as having access to large speech files, the BBC has considerable expertise in the editing and indexing of broadcast material, and an understanding of what is required and might be beneficial for the broadcast industry. Their main interests in this project are: (1) automatic indexing of broadcast news, and (2) automatic retrieval of video data by locating keywords in the audio track.
The Faculté Polytechnique de Mons (FPMs), B, has a large expertise in speech recognition, with particular emphasis on hybrid HMM/ANN speech recognition systems and keyword spotting. SoftSound, UK, is a start-up company interested in the integration of the different technologies and the development of a real-time demonstration system. Thomson-CSF/LCR, F, has a large experience in human-computer dialogue, speech understanding and natural language processing. IDIAP, CH, has considerable experience in speech and speaker recognition; its primary role will be to adapt the techniques to French speech. THISL will also benefit from further collaboration with their WERNICKE and SPRACH subcontractor ICSI (Berkeley CA, USA), which has been shown particularly successful in terms of technical input, as well as advanced software and hardware tools.
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
- scienze naturali informatica e scienze dell'informazione software
- ingegneria e tecnologia ingegneria elettrica, ingegneria elettronica, ingegneria informatica ingegneria elettronica elaborazione del segnale
- scienze naturali informatica e scienze dell'informazione scienza dei dati elaborazione del linguaggio naturale
- scienze naturali informatica e scienze dell'informazione intelligenza artificiale intelligenza computazionale
È necessario effettuare l’accesso o registrarsi per utilizzare questa funzione
Programma(i)
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
Argomento(i)
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Invito a presentare proposte
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
Dati non disponibili
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
Meccanismo di finanziamento
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
Coordinatore
S10 2OH Sheffield
Regno Unito
I costi totali sostenuti dall’organizzazione per partecipare al progetto, compresi i costi diretti e indiretti. Questo importo è un sottoinsieme del bilancio complessivo del progetto.