Skip to main content
Ir a la página de inicio de la Comisión Europea (se abrirá en una nueva ventana)
español es
CORDIS - Resultados de investigaciones de la UE
CORDIS

EndoMapper: Real-time mapping from endoscopic video

Descripción del proyecto

Los endoscopios médicos pronto podrían tener luz verde para la realidad aumentada y la navegación autónoma

El registro de zonas importantes es fundamental para interactuar con el medio ambiente, desde mapas por satélite de glaciares hasta mapas funcionales para navegadores GPS. Los vehículos autónomos también funcionan combinando datos visuales con un mapa existente que debe actualizarse y ampliarse constantemente. En la actualidad, EndoMapper está desarrollando un sistema de mapeo similar para respaldar los procedimientos endoscópicos como colonoscopias, biopsias de tumores e incluso la administración dirigida de fármacos. Para lograr esta primicia, el equipo debe abordar el reto de la flexibilidad de modelización. Al contrario que las carreteras y los caminos, los tejidos y órganos del cuerpo son propensos a cambiar a medida que se mueve el endoscopio. A través del aprovechamiento de nuevos modelos matemáticos flexibles y del aprendizaje automático, la endoscopía podría entrar pronto en el reino de la realidad virtual aumentada y la navegación autónoma.

Objetivo

Endoscopes traversing body cavities such as the colon are routine in medical practice. However, they lack any autonomy. An endoscope operating autonomously inside a living body would require, in real-time, the cartography of the regions where it is navigating, and its localization within the map. The goal of EndoMapper is to develop the fundamentals for real-time localization and mapping inside the human body, using only the video stream supplied by a standard monocular endoscope.

In the short term, will bring to endoscopy live augmented reality, for example, to show to the surgeon the exact location of a tumour that was detected in a tomography, or to provide navigation instructions to reach the exact location where to perform a biopsy. In the longer term, deformable intracorporeal mapping and localization will become the basis for novel medical procedures that could include robotized autonomous interaction with the live tissue in minimally invasive surgery or automated drug delivery with millimetre accuracy.

Our objective is to research the fundamentals of non-rigid geometry methods to achieve, for the first time, mapping from GI endoscopies. We will combine three approaches to minimize the risk. Firstly, we will build a fully handcrafted EndoMapper approach based on existing state-of-the-art rigid pipelines. Overcoming the non-rigidity challenge will be achieved by the new non-rigid mathematical models for perspective cameras and tubular topology. Secondly, we will explore how to improve using machine learning. We propose to work on new deep learning models to compute matches along endoscopy sequences to feed them to a VSLAM algorithm where the non-rigid geometry is still hard-coded. We finally plan to attempt a more radical end-to-end deep learning approach, that incorporates the mathematical models for non-rigid geometry as part of the training of data-driven learning algorithms.

Ámbito científico (EuroSciVoc)

Palabras clave

Programa(s)

Tema(s)

Régimen de financiación

RIA - Research and Innovation action

Ver todos los proyectos financiados en el marco de este régimen de financiación

Convocatoria de propuestas

(se abrirá en una nueva ventana) H2020-FETOPEN-2018-2020

Ver todos los proyectos financiados en el marco de esta convocatoria

Coordinador

UNIVERSIDAD DE ZARAGOZA
Aportación neta de la UEn
€ 1 439 125,00
Dirección
CALLE PEDRO CERBUNA 12
50009 Zaragoza
España
Región
Noreste Aragón Zaragoza
Tipo de actividad
Higher or Secondary Education Establishments
Enlaces
Coste total
€ 1 439 125,00

Participantes (3)