CORDIS - Wyniki badań wspieranych przez UE
CORDIS

Pilot Eye Gaze and Gesture tracking for Avionics Systems using Unobtrusive Solutions

Article Category

Article available in the following languages:

System kamer w kokpicie monitoruje spojrzenie pilota i śledzi jego gesty

Ze względu na duży stopień automatyzacji w nowoczesnych samolotach piloci muszą przetwarzać duże ilości informacji. Nowy inteligentny system wizualny pomaga pilotom koncentrować się na najważniejszym w danej chwili zadaniu.

Transport i mobilność icon Transport i mobilność
Technologie przemysłowe icon Technologie przemysłowe

Obecnie w typowym kokpicie samolotu komercyjnego znajduje się kilka dużych monitorów komputerowych, wiele pomniejszych tarcz ze wskaźnikami oraz setki przełączników. Mimo że takie systemy dobrze się sprawdzają, przy wyższych poziomach automatyzacji w kokpitach kluczowe jest, by zoptymalizować interakcje na linii człowiek-komputer, aby zwiększyć skuteczność pilota i bezpieczeństwo lotu. W związku z tym twórcy finansowanego ze środków UE projektu PEGGASUS rozwijają nowatorski interfejs człowiek-maszyna, uwzględniając przy tym unikalne wyzwania sektora aeronautyki. Naukowcy opracowali montowany na pulpicie system kamer, który śledzi kierunek spojrzenia pilota oraz rozpoznaje wykonywane przez niego gesty. Zadaniem systemu jest umożliwienie przekazywania pilotom ciągłych informacji zwrotnych, co pomaga zmniejszyć nakład pracy i zwiększyć świadomość danej sytuacji przy wykonywaniu wielu zadań jednocześnie.

Śledzenie spojrzenia

System wyposażony jest w kilka kamer skierowanych w stronę pilota. Działają one w bliskiej podczerwieni, jako że w kokpicie występują ekstremalne różnice w intensywności oświetlenia – momentami jest w nim bardzo jasno lub bardzo ciemno. Kamery współpracują z najnowocześniejszymi algorytmami sztucznej inteligencji Edge, umożliwiając analizowanie w czasie rzeczywistym kierunku, w którym patrzą piloci. „Opracowaliśmy algorytmy łączące podejście oparte na danych z podejściem analitycznym, aby precyzyjnie wykrywać kierunek spojrzenia w czasie rzeczywistym, przy minimalnych opóźnieniach”, opowiada Sareh Saeedi, kierowniczka projektów w firmie Swiss Center for Electronics and Microtechnology (CSEM), będącej gospodarzem projektu PEGGASUS. W projekcie wykorzystano najnowocześniejsze techniki widzenia komputerowego oraz uczenia maszynowego. „Na początek na obrazach rozpoznaje się twarz pilota. Następnie lokalizuje się kilka punktów rozpoznawczych na twarzy i wokół oczu, po czym następuje wykrywanie źrenicy oraz oszacowanie środka krzywizny rogówki”, wyjaśnia Saeedi. W rezultacie system wizyjny oparty na wielu kamerach pracuje w czasie rzeczywistym, z prędkością 60 klatek na sekundę i opóźnieniem rzędu 32 ms, co skutkuje wykrywaniem spojrzenia z dokładnością powyżej 1°.

Rozpoznawanie gestów

Dodatkowo system śledzi pięć z góry określonych gestów. Aby było to możliwe, badacze opracowali model głębokiej sieci neuronowej, który włączono do systemu, aby zapewnić nową modalność interakcji. System PEGGASUS zainstalowano w symulatorze kokpitu w Lotniczym Centrum Treningowym Lufthansa w Szwajcarii, gdzie przetestowało go 10 pilotów. „Otrzymaliśmy bardzo pozytywne informacje zwrotne od pilotów”, dodaje Gilad Scherpf, kierownik działu rozwoju lotnictwa w Grupie Lufthansa. „Ogólnie rzecz biorąc, jeśli chodzi o wygodę i czynniki rozpraszające, ocenili oni system monitorowania PEGGASUS lepiej niż systemy śledzenia ruchu oczu umieszczane na głowie”. Testy wykazały również, że potwierdzenie rozpoznawania gestów przy odbieraniu komunikatów głosowych od personelu kontroli lotów sprawdziło się bezbłędnie, gdy piloci uczestniczyli w scenariuszach symulujących unikanie kolizji z innymi obiektami. Pokazuje to, że tego rodzaju systemy mogą się doskonale sprawdzić w kokpitach przyszłości.

Współpraca zaowocowała sukcesem

Dzięki bardzo owocnej współpracy udało się stworzyć rozwiązanie dostosowane do określonych potrzeb. Firma CSEM opracowała algorytmy systemu wizualnego, zaś firma SERMA Ingénierie odpowiadała za przystosowanie sprzętu systemowego i połączenie go z kokpitem demonstracyjnym. ETH Zurich zajęło się zaprojektowaniem i przeprowadzeniem testów z udziałem pilotów, zaś linie lotnicze Swiss International Airlines wsparły konsorcjum wiedzą fachową w zakresie przypadków wykorzystania. Celem systemu nie jest radykalna zmiana wyglądu kokpitów, jednak połączenie technologii rozpoznawania gestów i systemu śledzenia spojrzenia pomoże pilotom koncentrować się na najważniejszych zadaniach, zminimalizuje liczbę czynników rozpraszających i przyczyni się do zwiększenia bezpieczeństwa lotów.

Słowa kluczowe

PEGGASUS, statek powietrzny, kokpit, pilot, śledzenie spojrzenia, rozpoznawanie gestów, system wizyjny, uczenie maszynowe, inteligentny system wizyjny

Znajdź inne artykuły w tej samej dziedzinie zastosowania