Objetivo
The objective of THISL is to show the feasibility of integrating state of the art Natural Language Processing (NLP) and Large Vocabulary Continuous Speech Recognition (LVCSR) technologies, towards advanced multimedia applications. In this framework, the present proposal will focus on R&D aimed at retrieving multimedia information (written or spoken text) using a spoken language interface.
The industrial relevance of such an application is apparent and was made very clear by the huge interest raised by the Carnegie Mellon University (CMU) Informedia realtime "news-on-demand" demonstration at the recent ARPA Spoken Language Technology meeting (Feb 1996, Arden House NY). The indexing and retrieval of television, radio and text news via a spoken language interface is a particularly compelling application which should be demonstrated at the end of this project. This technology would have potential applications with the advent of 500-channels and interactive TV. It could offer real-time, content-based access to ongoing programmes through their soundtrack, or sound-based navigation in the programme network.
The expected result of the project is a real-time prototype system for navigating in the soundtrack of a TV news broadcast. Significant intermediate results will include transcription of broadcast speech, development of audio editing tools, content-based retrieval from audio/video archives and a robust spoken language interface for search and retrieval of multimedia data.
The general approach will involve the integration of the LVCSR technology developed in the ESPRIT WERNICKE Basic Research project and the NLP technology developed by Thomson for spoken query understanding. A substantial output of the WERNICKE project was a flexible, efficient and accurate LVCSR system (able to handle open lexica) achieved through a new technology combining hidden Markov models (HMMs) and artificial neural networks (ANNs).
In terms of research, the current project will also directly benefit from the ongoing LTR SPRACH (20077) project aiming at further improving HMM/ANN-based LVCSR systems. As a consequence, most of the remaining work will focus on problems arising from the application domain and the integration of speech and language, particularly: (1) increasing robustness of the speech recognise on multimedia and broadcast speech (e.g. presence of music, mix of studio and telephone speech), (2) phrase and keyword spotting, and (3) the robust processing of spoken queries aimed at soundtrack transcripts.
The consortium has six proposers, with a clear interest in that application but with complementary areas of expertise. Sheffield University (SU), UK, has a large expertise in large vocabulary speech recognition, with particular emphasis on language modelling. The British Broadcasting Corporation (BBC), UK, has a great experience and interest in audio and video signal processing. As well as having access to large speech files, the BBC has considerable expertise in the editing and indexing of broadcast material, and an understanding of what is required and might be beneficial for the broadcast industry. Their main interests in this project are: (1) automatic indexing of broadcast news, and (2) automatic retrieval of video data by locating keywords in the audio track.
The Faculté Polytechnique de Mons (FPMs), B, has a large expertise in speech recognition, with particular emphasis on hybrid HMM/ANN speech recognition systems and keyword spotting. SoftSound, UK, is a start-up company interested in the integration of the different technologies and the development of a real-time demonstration system. Thomson-CSF/LCR, F, has a large experience in human-computer dialogue, speech understanding and natural language processing. IDIAP, CH, has considerable experience in speech and speaker recognition; its primary role will be to adapt the techniques to French speech. THISL will also benefit from further collaboration with their WERNICKE and SPRACH subcontractor ICSI (Berkeley CA, USA), which has been shown particularly successful in terms of technical input, as well as advanced software and hardware tools.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
- ciencias naturales informática y ciencias de la información software
- ingeniería y tecnología ingeniería eléctrica, ingeniería electrónica, ingeniería de la información ingeniería electrónica procesamiento de señales
- ciencias naturales informática y ciencias de la información ciencia de datos procesamiento del lenguaje natural
- ciencias naturales informática y ciencias de la información inteligencia artificial inteligencia computacional
Para utilizar esta función, debe iniciar sesión o registrarse
Programa(s)
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
Tema(s)
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Convocatoria de propuestas
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
Datos no disponibles
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
Régimen de financiación
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
Coordinador
S10 2OH Sheffield
Reino Unido
Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.