Sensorische Substitution beleuchtet kognitive Prozesse und bietet gleichzeitig therapeutische Anwendungen
Die Verschmelzung von Kunst und Wissenschaft, die traditionell als etwas Gegensätzliches betrachtet werden, hat in Bereichen wie Bildung, Therapie und Rehabilitation einen fruchtbaren Boden gefunden. Für das von der EU finanzierte DANCE-Projekt hat sich dies insbesondere bewahrheitet, wenn diese mit Computerinnovationen kombiniert wird, die den Menschen in den Mittelpunkt rücken. Das DANCE-Projekt untersuchte, wie körperliche Bewegung auf akustische Weise ausgedrückt und wahrgenommen werden kann. Das Projekt entwickelte Technologien, die die Ausdruckskraft der Ganzkörperbewegung in Echtzeit messen und visuelle Gesten in akustische Phänomene übersetzen. Während der Ansatz zur Bildgebung des Gehirns beiträgt, die den visuellen und auditorischen Kortex von blinden und sehenden Menschen abbildet, bietet der Ansatz auch therapeutische Möglichkeiten sowie neuartige nonverbale Schnittstellen zwischen Mensch und Maschine. Sehen durch hören Die Forschung hat gezeigt, dass die Sonifikation (durch Verwendung von nicht-sprachlichem Klang für die Informationsvermittlung) der Bewegung die Körperwahrnehmung zusammen mit einer erhöhten Sensibilität für Emotionen verstärken kann. Diese Erkenntnis hat sich in der Therapeutik als nützlich erwiesen. DANCE brachte darstellende Künstler, Sounddesigner, Visions- und Sozialneurowissenschaftler, Informatiker und Ingenieure zusammen, um das Potenzial für Rehabilitation und größere soziale Inklusion zu erforschen, das durch das Teilen von Räumen und Emotionen zwischen Sehbehinderten und Sehenden entsteht. Das EU-finanzierte DANCE-Team hat diesen Ansatz bisher zur Unterstützung von Parkinson-Patienten und Patienten mit chronischen Schmerzen übernommen. In den Arbeiten des Projekts erzeugt eine choreographierte Ausdrucksbewegung Klanginhalte in Echtzeit. Projektkoordinator Dr. Antonio Camurri erklärt: „Dies bedeutet, dass der Tanz selbst dann als eine musikalische Komposition begriffen wird, die ihre traditionelle Dimension verändert, um vor allem ein Hörerlebnis und weniger ein visuelles Erlebnis zu bieten. Ein übergreifendes Thema des Projekts war die Erforschung der Art und Weise, wie multisensorische Informationen zu einer sensorischen Überlastung der Beobachter führen könnten. „Anstatt also die Sinne zu erweitern, mit dem daraus folgenden Risiko einer Abstumpfung gegenüber dem Erlebnis, hat DANCE bewusst einen Sinnesentzug geschaffen, um die Sinne zu schärfen“, führt Dr. Camurri aus. Damit trug DANCE auch zu neurowissenschaftlichen Studien bei, die sich mit der Plastizität des Gehirns befassen. DANCE führte eine Studie zur funktionellen Magnetresonanzbildgebung (fMRI) am Menschen durch, bei der die Beziehung zwischen Bewegungsmerkmalen, die durch automatisierte Computeranalysen von Videoclips erhalten wurden, und der Gehirnaktivität während der Wahrnehmung der Videos untersucht wurde. Die Ergebnisse zeigten, dass Funktionen, die eine Low-Level-Berechnung erfordern, wie z. B. Bewegungsgeschwindigkeit, sich in bestimmten Gehirnbereichen im Zusammenhang mit frühen visuellen und bewegungsempfindlichen Regionen abbilden. Merkmale auf der mittleren Ebene, wie expressive Fluidität, stehen unterdessen mit dynamischen Aspekten der Körperhaltung in Verbindung, die in verschiedenen Gehirnbereichen kodiert sind. Dr. Camurri fasst zusammen: „Unsere computergestützte, funktionsbasierte Analyse legt nahe, dass der neuronale Mechanismus der Bewegungscodierung Merkmale verwendet, die eine andere neurale Basis semantischer Kategorien haben. Das heißt, die Bewegungswahrnehmung ist im Gehirn nicht so sehr nach semantischen Kategorien organisiert, sondern nach Merkmalen der Körperbewegungen selbst.“ Choreographie der nächsten Schritte Das Team entwickelte eine Technologieplattform an der Seite von dance.dibris.unige.it (frei verfügbare Software-Bibliotheken). Diese wurden für mehrere öffentliche Veranstaltungen, wissenschaftliche Experimente und mobile Anwendungen angenommen. Ein öffentlich zugänglicher Bewegungsdatensatz wurde zusammen mit Prototypen von Anwendungen für blinde und nicht blinde Menschen erstellt. Die wichtigste öffentliche Veranstaltung des Projekts, „Atlante del gesto Genova“, umfasste die Teilnahme von blinden und sehenden Menschen zusammen mit einem Institut für blinde Menschen. Das Projekt fand von November 2016 bis März 2017 statt und hat eine kontinuierliche Gemeinschaft von über 150 Teilnehmern geschaffen (einschließlich nicht-fachkundiger Mitglieder der Öffentlichkeit). Die Arbeit kann angepasst werden, um kreative Inhalte für Therapie und Rehabilitation zu generieren. Zum Beispiel wurde im Laufe von DANCE ein neues gemeinsames Labor zusammen mit der Gaslini Kinderklinik in Italien geschaffen. Hier arbeiteten Physiotherapeuten zusammen mit Computeringenieuren und Forschern an der Kreation von Spielen für die Rehabilitation. DANCE war auch eine reichhaltige Inspirationsquelle für weitere Forschungsrichtungen wie neurowissenschaftliche Studien, die die zugrunde liegenden neuralen Mechanismen bei der Wahrnehmung hochrangiger, affektiver Kommunikation durch Bewegung aufdecken wollen, mit dem Ziel, neue Schnittstellen und Anwendungen zu generieren.
Schlüsselbegriffe
DANCE, Choreographie, Körperbewegung, Sinneswahrnehmung, Kognition, soziale Inklusion, Rehabilitation, Therapie, Sonifikation, blind, auditiv