European Commission logo
español español
CORDIS - Resultados de investigaciones de la UE
CORDIS

Emotionally-based Tagging of Multimedia Content

Article Category

Article available in the following languages:

Indexación automática de música

Un grupo de la UE estudió métodos de auto-indexación de música por el cual las máquinas, interpretando las expresiones y el movimiento de los oyentes, son capaces de generar etiquetas descriptivas de búsqueda. Dicho proyecto también evaluó los métodos de lectura de ondas cerebrales para detectar respuestas emocionales.

Tecnologías industriales icon Tecnologías industriales

Con la proliferación de fuentes musicales en línea, cada vez resulta más difícil poder encontrar un contenido específico. Los métodos de indexación automática dependen de un método de etiquetado a gran escala que puede que no exista. Un método que promete resultar más efectivo implica generar un etiquetado automático del contenido musical mediante la detección de la reacción emocional del oyente conforme escucha la pieza. Las máquinas son capaces de generar los datos de etiquetado a partir de la lectura del lenguaje corporal y los gestos faciales. El proyecto «Emotionally-based tagging of multimedia content» (EMOTAG) tuvo por objeto el desarrollo y la evaluación de este sistema de etiquetado implícito tan sensible a los afectos humanos. Más específicamente, este proyecto investigó si el comportamiento del usuario podía sugerir etiquetas y si dicho enfoque podía contribuir a mejorar el proceso de etiquetado automático. Este equipo también investigó los beneficios que aportan dichos métodos en términos de mejora de rendimiento del etiquetado y estudió diversas técnicas de aprendizaje automático. La investigación, de dos años de duración, finalizó en abril de 2014. Como parte de la investigación inicial se analizaron las respuestas de los usuarios ante etiquetas incorrectas. Combinando el escáner cerebral de diversos individuos los investigadores fueron capaces de identificar la respuesta cerebral indicativa de la discordancia. Sin embargo, los patrones de mirada demostraron ser un método más fiable de detección. Los investigadores analizaron, en primer término, las respuestas espontáneas que suscitaban los vídeos emotivos. En fases subsiguientes se centraron en la detección de emociones continuas partiendo de las ondas cerebrales y gestos faciales. Al combinar dichos métodos, los investigadores concluyeron que la parte de las señales electroencefalográficas que aporta mayor nivel de información emocional es la intervención de los músculos faciales en la gestualidad. Dicho proyecto logró identificar el método más fiable de detección del efecto causado, alcanzando, así, un rendimiento puntero de detección. Asimismo, dicho grupo desarrolló un conjunto de datos novedoso para la caracterización emocional continua de la música. La investigación concluyó que las redes neuronales recurrentes profundas resultan también efectivas a la hora de captar la dinámica de la música. EMOTAG amplió el campo de la detección automática de respuestas humanas y contribuyó al desarrollo de aplicaciones de auto-etiquetado y consultas multimedia.

Palabras clave

Indexación de música, respuesta emocional, indexación automática, etiquetado, contenido multimedia

Descubra otros artículos del mismo campo de aplicación