CORDIS - Forschungsergebnisse der EU
CORDIS

Neural Spectral Image Decoding

Projektbeschreibung

Eine neue Methode des maschinellen Lernens für die spektrale Bildgebung

Spektrale Bildgebungsverfahren arbeiten mit Licht- und Schallsignalen, um optische Eigenschaften von biologischen Geweben auf nichtinvasive Weise zu messen. Durch ihre Sicherheit und ihre geringen Kosten eignen sie sich ideal für diverse Gesundheitsanwendungen. Allerdings besteht ein inverses Problem bei der Rekonstruktion von klinisch relevanten Gewebeeigenschaften aus spektralen Messungen. Selbst nach jahrzehntelanger Erforschung dieses Problems haben sich keine Lösungsansätze gefunden, um die Gewebeparameter in einem klinischen Umfeld zu quantifizieren. Das EU-finanzierte Projekt NEURAL SPICING möchte dieser Schwierigkeit bei der Informationsentschlüsselung mit Physik-informierten neuronalen Netzwerken beikommen. Die Forschenden verfolgen einen modernen maschinellen Lernansatz zur Simulation („Learning to Simulate“), um realistische simulierte Spektraldarstellungen aus nicht oder unzureichend gekennzeichneten Daten zu generieren, die dann zur Schulung von Algorithmen eingesetzt werden können. Dieser neue Ansatz könnte eine Innovation für die Diagnose und Therapie vieler verschiedener Krankheiten bedeuten.

Ziel

Had we the capacity to image the molecular tissue composition in real time, without exposing the patient or clinical staff to radiation, then this would revolutionize healthcare. Spectral imaging techniques, such as multispectral diffuse reflectance imaging and photoacoustics, have the potential to recover important tissue properties including oxygenation, temperature and the concentration of water. However, decades of research invested in solving the inverse problem of reconstructing clinically relevant tissue properties from spectral measurements have failed to produce solutions that can quantify tissue parameters robustly in a clinical setting. Initial attempts to address the limitations of model-based approaches with machine learning were hampered by the absence of labeled reference data needed for supervised algorithm training. While training data simulation can potentially address this bottleneck, the domain gap between real and simulated images remains a huge unsolved challenge.
This project at the intersection of physics, biology, medicine, and data science bridges the domain gap with a “learning-to-simulate” approach and reframes the quantification problem as a decoding problem that can be tackled with physics-constrained neural networks. It is based on the hypothesis that unlabeled and weakly labeled measurement data can be leveraged to improve the realism of simulated spectral images and ultimately the quantification accuracy. In building upon modern machine learning techniques, the concept naturally allows different sources of uncertainty to be handled and even exploited, requires no labeled data for the target task, and enables imaging systems to learn from their experience. The proposed second generation of spectral imaging is inherently safe and low-cost and could thus pave the way for a new era in interventional healthcare, with clinical applications ranging from cancer diagnosis to the staging and therapy of cardiovascular and inflammatory diseases.

Schlüsselbegriffe

Gastgebende Einrichtung

DEUTSCHES KREBSFORSCHUNGSZENTRUM HEIDELBERG
Netto-EU-Beitrag
€ 1 999 975,00
Adresse
IM NEUENHEIMER FELD 280
69120 Heidelberg
Deutschland

Auf der Karte ansehen

Region
Baden-Württemberg Karlsruhe Heidelberg, Stadtkreis
Aktivitätstyp
Research Organisations
Links
Gesamtkosten
€ 1 999 975,00

Begünstigte (1)