Eine stimmungsindizierte, multimodale Datenbank für bahnbrechende Veränderungen an interaktiven Musiksystemen
Bei der Vorstellung des Projekts MUSICAL-MOODS versicherten der Hauptforscher Fabio Paolizzo und Projektleiter Giovanni Costantini: „Dank Unterstützung im Rahmen der Marie-Skłodowska-Curie-Maßnahmen konnte das Projekt sich der Aufgabe widmen, Kapazitäten zur Klassifizierung und Erkennung von Emotionen und mentalen Zuständen anhand von Multimedia-Daten aus interaktiven und intelligenten Musiksystemen aufzubauen.“ Diese Systeme können in zahlreichen Bereichen angewandt werden, wie bei der Erstellung von Nutzungs- und Datenbankprofilen für die Kreativ- und Medienbranchen, für einen verbesserten Zugang für Bürgerinnen, Bürger und die Wissenschaftsgemeinschaft zum musikalischen Erbe, in Dienstleistungen für Audioinhalte auf Abruf, für Bildungs- und Schulungsaktivitäten, in der Musiktherapie und zum Schreiben von Musik. Dem Projekt schwebt eine Zukunft vor, in der solche Systeme Analogien herstellen können, um komplexe Aufgaben zu lösen, und in der computergestützte musikalische Kreativität uns zu einem umfassenderen Selbstverständnis verhelfen. Mit dieser Vision im Hinterkopf arbeitet das Projekt an der Entwicklung einer multimodalen Datenbank, die mithilfe von Tänzerinnen und Tänzern, die improvisierte Tänze aufführten, interaktiver Musikerstellung und Interviews mit Audio-, Video-, Bewegungserfassung- und Sprachdaten bevölkert wurde.
Die Datenbank von MUSICAL-MOODS
„Die Datenbank von MUSICAL-MOODS wurde in Zusammenarbeit mit zwölf professionellen Tänzerinnen und Tänzern in einer Umgebung erstellt, die mit einem Greenscreen, einem Bewegungserfassungssystem mit 30 Kameras von Vicon sowie dem interaktiven Musiksystem VIVO ausgestattet war“, bestätigt Paolizzo. Und er ergänzt: „Wir konzentrierten uns auf elektroakustische Musik, die in den Tanzenden Furcht und andere Gemütslagen hervorrufen konnte. Wir erstellten mehr als 100 Multimedia-Clips mit 300 Minuten Laufzeit für jede Erfassungsmethode, was zu mehr als 1 TB an Audio-, Video- und Bewegungserfassungsdaten führte.“ Zu diesem Zweck machte sich das Projekt disziplinübergreifende Instrumente und Methoden aus den Naturwissenschaften (Kognitionswissenschaft, Mensch-Computer-Interaktion, maschinelles Lernen, natürliche Sprachverarbeitung und Signalverarbeitung), den Künsten (Musik, Tanz, Bewegungserfassung und 3D-Animation) und Geisteswissenschaften (Musikologie, Geschichte der Musik und der Philosophie) zunutze. MUSICAL-MOODS setzte die Datenbank in zahlreichen Kunstprojekten ein, die interaktive und/oder intelligente Multimediasysteme und Algorithmen zur Verarbeitung von Audio- und Videosignalen verwendeten. „Auf Grundlage dieser Erfahrungen leiteten wir ein Modell zur Klassifikation von durch Musik ausgelöste Gemütslagen und damit verbundenen Daten ab, wobei wir auch Expertinnen und Experten dieses Bereichs zurate zogen. Wir haben solide, signifikante Ergebnisse bei der durchschnittlichen Klassifikationsgenauigkeit (88 %) erreicht und im Vergleich zum Stand der Technik große Fortschritte bei der mittleren quadratischen Abweichung gemacht“, hebt Costantini hervor. Um die Klassifikationsalgorithmen zu entwickeln und zu verbessern, wurde ein multimodales Spiel mit einem Ziel für Internetbenutzer eingesetzt. Dieses Spiel zielt auf Emotionen und Gemütszustände ab, die in den Benutzenden ausgelöst und durch die Musik und damit verbundenen Multimediadaten ausgedrückt werden können. Das Spiel bedient sich des Prinzips der Weisheit der Massen, um Annotationen durch unterhaltsame und kosteneffektive Benutzerinteraktionen zu erschaffen.
Die nächsten Schritte
„Das Spiel wird zur Modellierung von Sprachdaten verwendet werden, die im Rahmen des Projekts aus den Interviews mit den Tänzerinnen und Tänzern abgeleitet wurden“, berichtet Paolizzo. Die Sprachmodellierung wird zur Bewertung der mentalen Zustände und Emotionen der Tänzerinnen und Tänzer direkt nach dem Erfassen ihrer Darbietungen beitragen. Die Synchronisierung des Datensatzes läuft bereits und wird es möglich machen, zu untersuchen, wie Emotionen und Gemütszustände durch Audio-, Video- und Bewegungserfassungsinhalte ausgelöst und ausgedrückt werden können. Das wird zu einem besseren Verständnis dessen beitragen, wie verschiedene Medien Stimmungen auslösen sowie deren Ausdruck beeinflussen und welche zeitlichen Querverweise und Wertigkeiten dabei bestehen. Beispielsweise kann eine Melodie bestimmte Gefühle auslösen, während eine prägnante Textzeile im selben Musikstück die Bedeutung dieser Stimmungslage radikal ändern kann.
Schlüsselbegriffe
MUSICAL-MOODS, interaktiv, Emotionen, mentale Zustände, Multimedia-Daten, intelligente Musiksysteme
