Computational Methods to Analyse Intra-operative Adverse Events in Surgery at Scale

Opis projektu

Automatyczne wykrywanie zdarzeń niepożądanych występujących śródoperacyjnie

Podczas operacji często występują zdarzenia niepożądane, które są jednak zgłaszane w niewystarczającym stopniu, co utrudnia ich kompleksową analizę i opracowanie nowych środków bezpieczeństwa. Ostatnie dane wskazują, że zdarzenia, którym udało się zapobiec, są powiązane z poważnymi błędami i komplikacjami. Finansowany przez Europejską Radę ds. Badań Naukowych projekt CompSURG proponuje opracowanie pionierskiego podejścia obliczeniowego do automatycznego wykrywania i analizy śródoperacyjnych zdarzeń niepożądanych na endoskopowych zapisach wideo. Rozwiązanie będzie wykorzystywać zaawansowany system wizyjny do modelowania skomplikowanych interakcji między narzędziem a tkanką, umożliwiając rozpoznawanie elementów zabiegu chirurgicznego, które trzeba ponownie przeanalizować pod kątem bezpieczeństwa. Prace te mają doprowadzić do opracowania nowych środków bezpieczeństwa i szkoleń w zakresie różnych rodzajów operacji, poprawiając wyniki kliniczne i jakość opieki nad pacjentami.

Cel

The operating room is the most frequent location for hospital-related errors. However, intra-operative adverse events (IAEs) are underreported, which impedes their large-scale analysis, the definition of appropriate safety measures and the development of intra-operative support systems to reduce their occurrence. Recent manual video-based assessments of surgical procedures have shown that not only are IAEs frequent, but also that near miss intra-operative events, previously thought to be inconsequential, are in fact predictors of major errors and correlate with complications and poor surgical outcomes.

We leverage these recent findings to propose a radically new, computational approach to improve intra-operative surgical safety. We propose to focus on automatically detecting and analyzing IAEs in endoscopic videos via novel computer vision methods that model the detailed semantics of tool-tissue interactions, as needed to study the activity patterns leading to these critical events. We will first generate a multi-centric, multi-procedure dataset annotated with tool-tissue interaction semantics and IAEs. We will then develop a new fully differentiable neural network model of surgical videos relying on an intermediate graph representation to disentangle the surgical semantics. Finally, we will introduce new training methods for scaling these approaches to different types of surgeries and centers using a limited set of annotations.

These computational methods will allow the automated reporting and analysis of IAEs at a scale unfeasible with manual methods. We will use them to analyze patterns of IAEs and to identify the activities and phases of the surgical procedures that would benefit from new safety measures. We will also design a prototype for intra-operative support. We believe that this project will help to improve surgical safety and hence greatly benefit patient care.