Cockpit-Kamerasystem verfolgt die Blickbewegungen und Handgesten von Pilotinnen und Piloten
Ein typisches Verkehrsflugzeug-Cockpit von heute verfügt über mehrere große Computermonitore, viele sekundäre Drehknöpfe und Hunderte Schalter. Obwohl solche Anordnungen gut funktionieren, ist es bei einem höheren Automatisierungsgrad in den Cockpits entscheidend, die Interaktion zwischen Mensch und Computer zu optimieren, um die Effizienz der Flugzeugführenden und die Flugsicherheit zu erhöhen. Im Rahmen des EU-finanzierten Projekts PEGGASUS wurde ein neuartiges Mensch-Maschine-Schnittstellensystem entwickelt, das den besonderen Herausforderungen in der Luftfahrt gerecht wird. Hierfür wurde ein am Armaturenbrett montiertes Kamerasystem konzipiert, das die Blickbewegungen der Pilotinnen und Piloten nachverfolgt und auch ihre Handgesten erkennt. Dadurch sollen reibungslose Rückmeldungen ermöglicht werden, die dazu beitragen, die Arbeitsbelastung der Flugzeugführenden zu verringern und ihr Situationsbewusstsein bei der gleichzeitigen Ausführung mehrerer Aktionen zu verbessern.
Blickerfassung
Das System verfügt über mehrere Kameras, die auf die Pilotin oder den Piloten gerichtet sind. Das Mehrkamerasystem arbeitet notwendigerweise im Nahinfrarotbereich, da die Lichtintensität in den Cockpits extrem schwankt – manchmal ist es sehr hell und manchmal dunkel. Die Kameras sind mit modernster Edge-KI gekoppelt, so dass in Echtzeit ermittelt werden kann, worauf die Flugzeugführenden ihren Blick richten. „Wir haben eine algorithmische Pipeline erstellt, die datengestützte und analytische Ansätze kombiniert, um den Blick der Pilotin oder des Piloten in Echtzeit und mit minimaler Latenzzeit präzise zu bestimmen“, sagt Sareh Saeedi, Projektleiterin beim PEGGASUS-Projektträger, dem Schweizerischen Zentrum für Elektronik und Mikrotechnologie (CSEM). Hier fanden modernste Techniken des maschinellen Sehens und Lernens Verwendung. „Zunächst wird das Gesicht der Pilotin oder des Piloten auf den Bildern erkannt. Dann werden verschiedene Orientierungspunkte auf dem Gesicht und um die Augen herum lokalisiert, gefolgt von der Detektion der Pupille und der Schätzung des Zentrums der Hornhautkrümmung“, erklärt Saeedi. Das Ergebnis ist ein Multikamera-Visionssystem, das in Echtzeit mit 60 Bildern pro Sekunde und einer Latenzzeit von 32 ms arbeiten kann und eine Genauigkeit von mehr als 1° bei der Blickerfassung erreicht.
Erkennung von Gesten
Das System erfasst zudem fünf vordefinierte Handgesten. Zu diesem Zweck haben die Forschenden ein tiefes neuronales Netzwerk modelliert, das in das System integriert wurde, um eine neue Interaktionsmodalität zu ermöglichen. Das PEGGASUS-System wurde in einem Cockpit-Simulator bei Lufthansa Aviation Training in der Schweiz installiert, wo zehn Berufspilotinnen und -piloten das System evaluierten. „Wir haben sehr positives Feedback von ihnen erhalten“, ergänzt Gilad Scherpf, LeiterAviation Training Development Lufthansa Group. „Insgesamt bewerteten sie das PEGGASUS-Visionssystem als die bessere Lösung im Vergleich zu am Kopf befestigten Blickerfassungssystemen, was den Komfort und die geringe Ablenkung angeht.“ Die Tests zeigten, dass die Gestenerkennung zur Bestätigung von Sprachnachrichten der Flugsicherung auch dann einwandfrei funktionierte, wenn die Flugzeugführenden mit simulierten Szenarien zur Vermeidung von Flugkollisionen beschäftigt waren. Dies unterstreicht das Nutzungspotenzial solcher Systeme in künftigen Cockpits.
Zusammenarbeit für den Erfolg
Dank einer äußerst produktiven Zusammenarbeit konnte eine maßgeschneiderte Lösung ausgearbeitet werden. Das CSEM erstellte die Algorithmen des Bildverarbeitungssystems, während SERMA Ingénierie für die Anpassung der Systemhardware und die Integration in einen Cockpit-Demonstrator verantwortlich war. Die ETH Zürich übernahm die Konzeption und Durchführung der Studien mit Pilotinnen und Piloten, während Swiss International Airlines das Konsortium mit Fachwissen zu den Anwendungsfällen unterstützte. Das System ist nicht dazu gedacht, Cockpits radikal umzugestalten. Die Kombination von Gestenerkennung und Blickerfassung soll den Pilotinnen und Piloten jedoch helfen, sich auf ihre wichtigsten Aufgaben zu konzentrieren, Ablenkungen zu minimieren und die Flugsicherheit zu erhöhen.
Schlüsselbegriffe
PEGGASUS, Flugzeug, Cockpit, Pilotin, Pilot, Blickerfassung, Gestenerkennung, Visionssystem, maschinelles Lernen, intelligentes Bildverarbeitungssystem
