Obiettivo
The usefulness of archived audiovisual material is strongly dependent on the quality of the accompanying annotation. Currently this is a labour-intensive process, which is therefore limited in the amount of detail that can be stored. In particular, in real-time applications (such as live broadcast events) it is unrealistic to add much manual annotation. The proposed information management system will automatically extract descriptive features, using MPEG-7 descriptors where relevant, and associate these features with a small thesaurus relevant to the subject matter. In this project, the subject matter will be limited to sports events. The features will include video, text, speech and other audio features. These features will be associated with the thesaurus by means of a training process. In this way the user will be able to make text-based queries on the audiovisual material, using only the automatically-extracted annotation.
Objectives:
The aim of the project is to develop techniques for automatic segmentation and semantic annotation of sports videos. Such material typically originates "live", thus making detailed manual annotation impractical. The level of annotation should be sufficient to enable simple text-based queries. The target will be to segment the material into shots, and to group and classify the shots into semantic categories (type of sport). To do this, the system will extract information from each shot, based on speech and text recognition, and identify the highlights from the audio track and from visual audience reactions. A training system will then be developed that will then associate these features with a small thesaurus relevant to the subject matter.
Work description:
The project is based on the construction of several software modules that extract various different modes of information (speech, other audio cues, encapsulated text, other video cues). Each module functions fairly independently of the others, so that the development of the modules can proceed in parallel. The video module can be further roughly subdivided into shot detection, spatiotemporal object extraction and mosaicing, and object characterisation and recognition. The output of these modules is fed into a contextual annotation module, which is able to associate the automatically-extracted features with an internal lexicon. The output is a text-based summary of the video material. The associative mechanism is trained for the specific application - in this case sports material. A user interface will be developed which will enable the user to browse through the video database, using the automatically-extracted text summary to link to the original video material. Special attention will be paid to the flexibility and user-friendliness of this interface. As the software components are integrated into a complete system, attention will be paid to the development of testing methodology, and to an evaluation of the prototype. The direction of this work will be guided strongly by input from the user partners. Recent work on video annotation has highlighted the difficulty of locating sufficient material with adequate ground truth information. Thus the compilation, cataloguing and assessment of suitable test material forms an important component of this part of the work.
Milestones:
M1 (at 9 months): User requirements and system specification completed; Graphical User Interface able to operate on manually-generated annotation.
M2 (at 18 months): Audio and video segmentation, shape analysis and motion characterisation complete.
M3 (at 24 months): Skeleton system completed with trial versions of all workpackage modules
At project completion, we expect:
(1) to have a working prototype of the system, and
(2) to have made contributions to standardisation bodies.
Campo scientifico (EuroSciVoc)
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
CORDIS classifica i progetti con EuroSciVoc, una tassonomia multilingue dei campi scientifici, attraverso un processo semi-automatico basato su tecniche NLP. Cfr.: Il Vocabolario Scientifico Europeo.
- scienze naturali informatica e scienze dell'informazione software
- scienze naturali informatica e scienze dell'informazione basi di dati
È necessario effettuare l’accesso o registrarsi per utilizzare questa funzione
Programma(i)
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
Programmi di finanziamento pluriennali che definiscono le priorità dell’UE in materia di ricerca e innovazione.
Argomento(i)
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Gli inviti a presentare proposte sono suddivisi per argomenti. Un argomento definisce un’area o un tema specifico per il quale i candidati possono presentare proposte. La descrizione di un argomento comprende il suo ambito specifico e l’impatto previsto del progetto finanziato.
Invito a presentare proposte
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
Dati non disponibili
Procedura per invitare i candidati a presentare proposte di progetti, con l’obiettivo di ricevere finanziamenti dall’UE.
Meccanismo di finanziamento
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
Meccanismo di finanziamento (o «Tipo di azione») all’interno di un programma con caratteristiche comuni. Specifica: l’ambito di ciò che viene finanziato; il tasso di rimborso; i criteri di valutazione specifici per qualificarsi per il finanziamento; l’uso di forme semplificate di costi come gli importi forfettari.
Coordinatore
KT13 0XW WEYBRIDGE
Regno Unito
I costi totali sostenuti dall’organizzazione per partecipare al progetto, compresi i costi diretti e indiretti. Questo importo è un sottoinsieme del bilancio complessivo del progetto.