Projektbeschreibung
Personalisiertes Audiorendering für Anwendungen der erweiterten Realität
Mit erweiterter Realität (XR) wird die physische Welt um digitale Interaktionen in Echtzeit erweitert. Im Gegensatz zu den visuellen Elementen mangelt es beim Sound in XR-Anwendungen oft an Realismus und Zugänglichkeit. Eine Studie ergab, dass bei 97 % der XR-Anwendungen aufgrund der Komplexität kein personalisiertes Audiorendering vorgesehen ist. Unterstützt über die Marie-Skłodowska-Curie-Maßnahmen wird im Projekt MIA eine Lösung zum Audiorendering entwickelt, bei der Fortschritte der Psychoakustik mit erklärbarer KI kombiniert werden. Das Projektteam wird einen KI-gesteuerten Prototyp für personalisierte Audioerlebnisse entwickeln und ein Instrumentarium mit minimaler Hardware für die nahtlose Integration von Audio in XR-Anwendungen bereitstellen. Darüber hinaus werden im Rahmen des Projekts Schutzmaßnahmen für die Produktentwicklung in der EU geprüft, die zur digitalen Inklusion beitragen, insbesondere bei der Telearbeit und der Hörunterstützung.
Ziel
The growing field of extended reality (XR) has shown how technology can expand the physical world with real-time digital information and interactions through applications spanning from hybrid meetings to assisted hearing. While plausible visual information is easily delivered, when not adapted to each user, generic sound rendering lacks realism, increases cognitive load and limits accessibility. Still, a recent study found that only 97% of analysed applications ignore personalised sound rendering due to its complex acoustic requirements.
MIA (Modelling Individual Acoustics for plausible extended realities) aims at individualising audio rendering by developing a widely adoptable solution that leverages advancements in psychoacoustics and explainable artificial intelligence (AI). The proposed research effort will (1) explore and determine requirements across multiple acoustic contexts, (2) prototype an explainable AI model to infer individual audio characteristics, and (3) implement a personalisation procedure based on user actions to guarantee plausibility over specific contexts.
The resulting software solution aims to provide a toolkit with minimal hardware requirements to integrate plausible audio in XR applications. MIA will foster open-science practices while exploring protection measures for EU product development, supporting the EU's goals of advancing technological innovation and enhancing digital inclusion, particularly in remote work, education, and hearing assistance technologies. To succeed, MIA integrates the diverse fields of expertise of the researcher on auditory modelling and advanced Bayesian statistics, of the host institution on audio-signal processing and XR applications, and of the secondment host on the development of explainable AI. The researcher will, therefore, have the chance to collaborate with multiple leading experts to expand his expertise and professional networks, supporting his development for an independent career.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Wir bitten um Entschuldigung ... während der Ausführung ist ein unerwarteter Fehler aufgetreten.
Sie müssen sich authentifizieren. Ihre Sitzung ist möglicherweise abgelaufen.
Vielen Dank für Ihr Feedback. Sie erhalten in Kürze eine E-Mail zur Übermittlungsbestätigung. Wenn Sie sich für eine Benachrichtigung über den Berichtsstatus entschieden haben, werden Sie auch im Falle einer Änderung des Berichtsstatus benachrichtigt.
Schlüsselbegriffe
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Programm/Programme
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
-
HORIZON.1.2 - Marie Skłodowska-Curie Actions (MSCA)
HAUPTPROGRAMM
Alle im Rahmen dieses Programms finanzierten Projekte anzeigen
Thema/Themen
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Finanzierungsplan
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships
Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen
Aufforderung zur Vorschlagseinreichung
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
(öffnet in neuem Fenster) HORIZON-MSCA-2024-PF-01
Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigenKoordinator
Finanzieller Nettobeitrag der EU. Der Geldbetrag, den der Beteiligte erhält, abzüglich des EU-Beitrags an mit ihm verbundene Dritte. Berücksichtigt die Aufteilung des EU-Finanzbeitrags zwischen den direkten Begünstigten des Projekts und anderen Arten von Beteiligten, wie z. B. Dritten.
SW7 2AZ London
Vereinigtes Königreich
Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.