System kamer w kokpicie monitoruje spojrzenie pilota i śledzi jego gesty
Obecnie w typowym kokpicie samolotu komercyjnego znajduje się kilka dużych monitorów komputerowych, wiele pomniejszych tarcz ze wskaźnikami oraz setki przełączników. Mimo że takie systemy dobrze się sprawdzają, przy wyższych poziomach automatyzacji w kokpitach kluczowe jest, by zoptymalizować interakcje na linii człowiek-komputer, aby zwiększyć skuteczność pilota i bezpieczeństwo lotu. W związku z tym twórcy finansowanego ze środków UE projektu PEGGASUS rozwijają nowatorski interfejs człowiek-maszyna, uwzględniając przy tym unikalne wyzwania sektora aeronautyki. Naukowcy opracowali montowany na pulpicie system kamer, który śledzi kierunek spojrzenia pilota oraz rozpoznaje wykonywane przez niego gesty. Zadaniem systemu jest umożliwienie przekazywania pilotom ciągłych informacji zwrotnych, co pomaga zmniejszyć nakład pracy i zwiększyć świadomość danej sytuacji przy wykonywaniu wielu zadań jednocześnie.
Śledzenie spojrzenia
System wyposażony jest w kilka kamer skierowanych w stronę pilota. Działają one w bliskiej podczerwieni, jako że w kokpicie występują ekstremalne różnice w intensywności oświetlenia – momentami jest w nim bardzo jasno lub bardzo ciemno. Kamery współpracują z najnowocześniejszymi algorytmami sztucznej inteligencji Edge, umożliwiając analizowanie w czasie rzeczywistym kierunku, w którym patrzą piloci. „Opracowaliśmy algorytmy łączące podejście oparte na danych z podejściem analitycznym, aby precyzyjnie wykrywać kierunek spojrzenia w czasie rzeczywistym, przy minimalnych opóźnieniach”, opowiada Sareh Saeedi, kierowniczka projektów w firmie Swiss Center for Electronics and Microtechnology (CSEM), będącej gospodarzem projektu PEGGASUS. W projekcie wykorzystano najnowocześniejsze techniki widzenia komputerowego oraz uczenia maszynowego. „Na początek na obrazach rozpoznaje się twarz pilota. Następnie lokalizuje się kilka punktów rozpoznawczych na twarzy i wokół oczu, po czym następuje wykrywanie źrenicy oraz oszacowanie środka krzywizny rogówki”, wyjaśnia Saeedi. W rezultacie system wizyjny oparty na wielu kamerach pracuje w czasie rzeczywistym, z prędkością 60 klatek na sekundę i opóźnieniem rzędu 32 ms, co skutkuje wykrywaniem spojrzenia z dokładnością powyżej 1°.
Rozpoznawanie gestów
Dodatkowo system śledzi pięć z góry określonych gestów. Aby było to możliwe, badacze opracowali model głębokiej sieci neuronowej, który włączono do systemu, aby zapewnić nową modalność interakcji. System PEGGASUS zainstalowano w symulatorze kokpitu w Lotniczym Centrum Treningowym Lufthansa w Szwajcarii, gdzie przetestowało go 10 pilotów. „Otrzymaliśmy bardzo pozytywne informacje zwrotne od pilotów”, dodaje Gilad Scherpf, kierownik działu rozwoju lotnictwa w Grupie Lufthansa. „Ogólnie rzecz biorąc, jeśli chodzi o wygodę i czynniki rozpraszające, ocenili oni system monitorowania PEGGASUS lepiej niż systemy śledzenia ruchu oczu umieszczane na głowie”. Testy wykazały również, że potwierdzenie rozpoznawania gestów przy odbieraniu komunikatów głosowych od personelu kontroli lotów sprawdziło się bezbłędnie, gdy piloci uczestniczyli w scenariuszach symulujących unikanie kolizji z innymi obiektami. Pokazuje to, że tego rodzaju systemy mogą się doskonale sprawdzić w kokpitach przyszłości.
Współpraca zaowocowała sukcesem
Dzięki bardzo owocnej współpracy udało się stworzyć rozwiązanie dostosowane do określonych potrzeb. Firma CSEM opracowała algorytmy systemu wizualnego, zaś firma SERMA Ingénierie odpowiadała za przystosowanie sprzętu systemowego i połączenie go z kokpitem demonstracyjnym. ETH Zurich zajęło się zaprojektowaniem i przeprowadzeniem testów z udziałem pilotów, zaś linie lotnicze Swiss International Airlines wsparły konsorcjum wiedzą fachową w zakresie przypadków wykorzystania. Celem systemu nie jest radykalna zmiana wyglądu kokpitów, jednak połączenie technologii rozpoznawania gestów i systemu śledzenia spojrzenia pomoże pilotom koncentrować się na najważniejszych zadaniach, zminimalizuje liczbę czynników rozpraszających i przyczyni się do zwiększenia bezpieczeństwa lotów.
Słowa kluczowe
PEGGASUS, statek powietrzny, kokpit, pilot, śledzenie spojrzenia, rozpoznawanie gestów, system wizyjny, uczenie maszynowe, inteligentny system wizyjny
