Interacciones audiomotrices y técnica para tocar música
El proyecto financiado con fondos europeos MUSMAP se valió de técnicas de análisis de movimientos y sonidos para identificar y describir secuencias de análisis auditivos y sonidos de una base de datos de representaciones clásicas de violín creada a tal efecto. Un equipo de investigadores desarrolló técnicas de obtención y análisis de datos multimodales con el fin de generar métodos de esquematización capaces de modelar técnicas de representación de instrumentos desde un punto de vista computacional. Su intención fue desarrollar y probar modelos de representación de patrones audiomotrices mediante el estudio de grabaciones de músicos profesionales. Dicho equipo se valió de estos modelos para diseñar un sistema con el que controlar automáticamente la síntesis del sonido de un violín y generar una arquitectura de bucle cerrado, mediante la que un componente secenciador se actualiza en respuesta a características perceptuales del sonido sintetizado. De este modo se generó un marco para la producción de música asistida por ordenador que al mismo tiempo ejerce como banco de pruebas ideal para validar los modelos de representación audiomotrices desarrollados. Por último, el equipo de investigación desarrolló tecnologías de procesamiento de sonidos de alta calidad para así realizar una reubicación audiomotriz de representaciones de violín grabadas o en directo. MUSMAP ofrece distintos avances en cuanto a técnicas de síntesis de sonido de instrumentos musicales basadas en modelos físicos que se ejecutan en tiempo real y producen sonidos realistas. Además se propusieron técnicas nuevas para generar mapas de reproductibilidad y un control automático de modelos físicos obtenido de grabaciones o sintetizados en simulaciones. Estos pasos iniciales en el procesamiento de señales de entrada y salida representan una base sólida para el empleo de técnicas de aprendizaje profundo con las que diseñar modelos capaces de simular el propio proceso de sincronización motora. Esto podría servir también para idear redes de aprendizaje profundo para tocar un instrumento capaces de determinar los mecanismos que rigen la integración sensomotora, destacando de este modo simulaciones sencillas de la función encefálica con las que desentrañar el funcionamiento del encéfalo. MUSMAP también contribuyó al desarrollo del sistema Repovizz, una plataforma de teledetección y protocolo de archivo de datos mediante el que es posible almacenar, representar, anotar y recuperar de manera selectiva datos de distintas modalidades.
Palabras clave
Interacciones audiomotrices, música de violín, MUSMAP, datos multimodales, síntesis de sonido
