Auditorisch-motorische Interaktionen und Spieltechnik
Mittels Bewegungs- und Klanganalysen identifizierte und beschrieb das EU-finanzierte Projekt MUSMAP akustische Sequenzen klassischer Violinstücke aus einer zu diesem Zweck erstellten Datenbank. Die Forscher entwickelten Techniken für die multimodale Datenerfassung und -analyse, um auditorisch-motorische Muster zu analysieren, aus denen Computermodelle für instrumentelle Spieltechniken erstellt werden können. So sollten auditorisch-motorische Musterrepräsentationen entwickelt und getestet werden, indem Aufnahmen ausgebildeter Musiker analysiert wurden. Die Wissenschaftler entwarfen anhand der Modelle ein System für die automatisch gesteuerte Klangsynthese bei Violinmusik. Ziel war eine Architektur mit Feed-Forward und geschlossenem Regelkreis, bei der eine motorische Sequenz durch Wahrnehmung eines erzeugten Klangs aktualisiert wird. Dies bietet ein Konzept für die computergestützte Erzeugung von Musik und ist gleichzeitig ein idealer Prüfstand zur Validierung der entwickelten auditorisch-motorischen Repräsentationsmodelle. Schließlich entwickelten die Forscher neue hochqualitative Methoden der Tonverarbeitung, um Aufzeichnungen oder Echtzeitspiel mit auditorischen Motiven abzugleichen. MUSMAP lieferte wichtige Erkenntnisse zur Klangsynthese instrumenteller Musik, die auf physikalischen Echtzeitmodellen mit realistischem Klang basieren. Weiterhin wurden neue Techniken zur Erzeugung von Spielbarkeitskarten und zur automatischen Steuerung physikalischer Modelle entwickelt, die aus Aufzeichnungen stammen oder während Simulationen erzeugt wurden. Diese ersten Schritte bei der Eingabe-Ausgabe-Verarbeitung sind eine solide Grundlage für Deep-Learning-Techniken für Modelle, die die motorische Synchronisation selbst simulieren können. Auf diese Weise könnten Deep-Learning-Netzwerke für das Spielen eines Instruments entwickelt werden, die Mechanismen der sensorisch-motorischen Integration erklären, einfache Gehirnfunktionen simulieren und die Funktionsweise des menschlichen Gehirns beschreiben können. MUSMAP wirkte auch bei der Entwicklung des Systems Repovizz, einer Remote-Hosting-Plattform und eines Datenarchivierungsprotokolls mit, über die verschiedene Modalitäten gespeichert, visualisiert, kommentiert und selektiv abgerufen werden können.
Schlüsselbegriffe
Auditorisch-motorische Interaktionen, Violinmusik, MUSMAP, multimodale Daten, Klangerzeugung
