Rzeczywistość rozszerzona przyszłością zabiegów chirurgicznych
Koncepcja stosowania modułów wizualizacji rzeczywistości rozszerzonej w celu poprawy możliwości percepcyjnych podczas zabiegów chirurgicznych nie jest nowa. Zastosowanie systemu rzeczywistości rozszerzonej umożliwia użytkownikowi obserwację prawdziwego świata z dodatkowymi informacjami wyświetlanymi na odpowiednim wyświetlaczu. Zestawy HMD to najbardziej ergonomiczne i łatwe w przełożeniu rozwiązanie, lecz o sprawności przeprowadzania procedur chirurgicznych w oparciu o tak generowane obrazy decyduje jakość treści wirtualnych. W systemach HMD wykorzystuje się rozwiązania z przezroczystym elementem optycznym (ang. optical see-through, OST) oraz umożliwiające obserwację przez kamerę wideo (ang. video see-through, VST). Wyświetlacze OST łączą świat rzeczywisty z wirtualnym za pomocą odpowiednich elementów optycznych. Informacje wirtualne są wyświetlane na linii wzroku użytkownika, rozszerzając tym samym obraz obserwowany przez niego naprawdę. W systemach VST kamera rejestruje cyfrowy obraz rzeczywistego świata i łączy go z elementami graficznymi generowanymi komputerowo (zawartością wirtualną).
Połączenie technologii OST i VST w jednym układzie HMD
Głównym celem finansowanego ze środków UE projektu VOSTARS było rozbudowanie „świata” chirurga przez dodanie do niego dostępnych informacji, które ułatwiałyby prowadzenie zabiegu. Zespół badawczy, w którego skład weszli między innymi specjaliści w zakresie chirurgii wspomaganej komputerowo, grafiki komputerowej, optyki i elektroniki, opracował przełomową hybrydę HMD, łączącą w sobie technologie OST i VST. VOSTARS jest jedynym systemem HMD rzeczywistości rozszerzonej zdolnym oferować możliwości planowania działań w ciele pacjenta z dokładnością poniżej jednego milimetra. Badacze wbudowali w system HMD dwie bardzo małe kamery, dzięki którym uzyskuje się wysoce dokładny i zsynchronizowany obraz VST. Moduł VST podnosi też dokładność prowadzenia zabiegu chirurgicznego dzięki łączeniu ze sobą wielu klatek wideo. Hybrydowy system HMD umożliwia obserwowanie organizmu pacjenta w trzech wymiarach i współpracuje z bardzo elastycznym oprogramowaniem zdolnym łączyć rozwiązania OST i VST. Vincenzo Ferrari, koordynator projektu VOSTARS oraz profesor inżynierii biomedycznej na Uniwersytecie w Pizie, wyjaśnia: „Przy zastosowaniu systemu VOSTARS planowanie zabiegu chirurgicznego odbywa się w czasie rzeczywistym, a dzięki połączeniu różnych rozwiązań użytkownik otrzymuje do dyspozycji ulepszony obraz rzeczywistości rozszerzonej”. Naukowcy przetestowali system HMD VOSTARS w działaniach klinicznych, a ich wyniki okazały się bardzo obiecujące. Ferrari mówi: „Najważniejszym osiągnięciem tego projektu jest niewątpliwie zaprezentowanie dokładności, z jaką systemy rzeczywistości rozszerzonej mogą prowadzić rękę chirurga, dając tym samym nadzieję na podniesienie możliwości w zakresie zabiegów chirurgicznych”.
Czy system HMD VOSTARS to przyszłość chirurgii w rzeczywistości rozszerzonej?
Zabiegi chirurgiczne prowadzone na podstawie generowanych obrazów z wykorzystaniem informacji o anatomii pacjenta i strukturach patologicznych w jego ciele sprawią, że chirurg zyska możliwość planowania zabiegu i podejmowania decyzji, na przykład dotyczących optymalnych trajektorii cięcia w celu zmniejszenia inwazyjności procedury i zwiększenia jej skutków klinicznych. System HMD VOSTARS to przełomowe narzędzie w zakresie chirurgii bazującej na generowaniu obrazów, ponieważ umożliwia planowanie zabiegów w czasie rzeczywistym, dokładnie przed oczyma chirurga. Obecnie rynek narzędzi nawigacji chirurgicznej nie oferuje żadnych podobnych rozwiązań. Dzięki tej technologii chirurdzy będą mogli wizualizować anatomię wewnętrzną ciała pacjenta również w tych fragmentach, które są niewidoczne gołym okiem. Rozwiązanie to będzie niezwykle przydatne podczas różnorakich zabiegów chirurgicznych, w tym pozycjonowania implantów. Ponadto system HMD stanowi alternatywę dla dostępnych w obrocie produktów z obszaru rzeczywistości rozszerzonej stosowanych w innych dziedzinach, w tym w przemyśle lotniczym i samochodowym. Trwające obecnie wysiłki projektowe mające na celu optymalizację prototypu opracowanego podczas trwania projektu VOSTARS i przystosowania do go stosowania w zabiegach chirurgicznych są wspierane z projektu ARTS4.0 finansowanego z europejskiego programu grantów Por Fesr.
Słowa kluczowe
VOSTARS, HMD, VST, OST, chirurgia bazująca na obrazach, rzeczywistość rozszerzona, mocowany na głowie wyświetlacz, obserwacja przez kamerę wideo, obserwacja przez przezroczysty element optyczny
