Automatische Musikindexierung
Die Verbreitung des Musikvertriebs über das Internet macht die Suche nach spezifischen Inhalten immer schwieriger. Automatische Indexierungsmethoden beruhen auf einem umfangreichen Tagging und sind ohne diese Kennzeichnung nicht anwendbar. Eine potenziell effektivere Methode beinhaltet die automatische Kennzeichnung von Musikinhalten durch den Nachweis der emotionalen Reaktion der Hörer. Maschinen lesen Körpersprache und Mimik und erzeugen damit die Tagging-Daten. Das EU-finanzierte Projekt EMOTAG ("Emotionally-based tagging of multimedia content") zielte auf die Entwicklung und Evaluierung eines solchen affektempfindlichen, impliziten Tagging-Systems. Das Projekt untersuchte vor allem, ob das Nutzerverhalten auf Kennzeichnungen schließen lassen kann und ob dieser Ansatz das automatische Tagging verbessern könnte. Das Team untersuchte auch die Leistungsvorteile solcher Methoden und verschiedene effiziente Maschinenlerntechniken. Das zweijährige Projekt wurde im April 2014 abgeschlossen. Erste Untersuchungen umfassten eine Analyse der Benutzerreaktionen auf unpassende Kennzeichnungen. Durch die Kombination der Hirnbilddaten von mehreren Personen war das Team in der Lage, die Reaktion des Gehirns auf falsche Kennzeichnungen zu identifizieren. Allerdings erwiesen sich Augenbewegungsmuster als zuverlässigere Erkennungsmethode. Die Forscher analysierten zunächst spontane Reaktionen auf emotionale Videos. Danach konzentrierten sie sich auf die Erkennung von kontinuierlichen Emotionen aus Gehirnwellen und Mimik. Durch das Kombinieren dieser Methoden kam man zu dem Schluss, dass der emotional informativste Teil der EEG-Signale die Manipulation der Gesichtsmuskeln ist. Das Projekt identifizierte die wirksamste Methode zum Nachweis der Wirkung und erreichte eine für solche Detektionen beispiellose Leistung. Die Gruppe entwickelte außerdem einen neuen Datensatz für die kontinuierliche emotionale Charakterisierung von Musik. Die Untersuchung ergab, dass tiefe rekurrente neuronale Netzwerke die Dynamik von Musik auch effektiv erfassen. EMOTAG entwickelte die automatische Erkennung der menschlichen Reaktionen weiter und führte zu Anwendungen für das automatische Tagging und das Abrufen von Multimediainhalten.
Schlüsselbegriffe
Musikindexierung, emotionale Reaktion, automatische Indexierung, Tagging, Multimediainhalte
