Automatyczne indeksowanie muzyki
Rozpowszechnienie serwisów muzycznych w Internecie sprawia, że coraz trudniej jest znaleźć określoną treść. Metody automatycznego indeksowania wymagają obecności wielu znaczników, których niekiedy brak. Potencjalnie skuteczniejsza metoda polega na automatycznym dodawaniu znaczników do treści muzycznych poprzez wykrywanie reakcji emocjonalnej słuchaczy podczas słuchania muzyki. Maszyny odczytują mowę ciała i mimikę ludzi, generując na tej podstawie dane znaczników. Finansowany ze środków UE projekt "Emotionally-based tagging of multimedia content" (EMOTAG) miał za zadanie opracowanie i ocenę takiego systemu dodawania znaczników implikowanych stanami emocjonalnymi. W szczególności w ramach projektu zbadano, czy zachowanie użytkownika może sugerować określone znaczniki i czy takie podejście może udoskonalić automatyczne dodawanie znaczników. Zespół przyjrzał się również korzyściom wydajnościowym stosowania takich metod i różnym wydajnym technikom uczenia maszynowego. Dwuletnie prace zakończono w kwietniu 2014 r. Wstępne badania obejmowały analizę reakcji użytkownika na niedopasowane znaczniki. Dzięki zestawieniu skanów mózgu kilku użytkowników, zespół projektu zdołał zidentyfikować reakcję mózgu wskazującą na niedopasowanie. Jednakże wzory ruchu gałek ocznych okazały się bardziej niezawodną metodą detekcji. Badacze najpierw przeanalizowali spontaniczne reakcje na emocjonujące filmy. W dalszych pracach skoncentrowano się na wykrywaniu stałych emocji na podstawie fal mózgowych i mimiki. Połączenie powyższych metod badawczych doprowadziło zespół do wniosku, że najwięcej informacji na temat emocji dostarczają sygnały elektroencefalograficzne związane z interferencją mięśni twarzy podczas mimiki. Badacze zidentyfikowali najskuteczniejszą metodę wykrywania tego efektu i zapewnili jej niezawodne działanie. Grupa opracowała również nowy zestaw danych do ciągłej charakterystyki emocjonalnej muzyki. Badanie wykazało, że głębokie, rekurencyjne sieci neuronowe wychwytują również skutecznie dynamikę muzyki. Projekt EMOTAG rozszerzył automatycznie wykrywanie ludzkich reakcji i zaowocował aplikacjami automatycznego dodawania znaczników i pobierania multimediów.
Słowa kluczowe
Indeksowanie muzyki, reakcja emocjonalna, automatyczne indeksowanie, dodawanie znaczników, treści multimedialne