CORDIS - Forschungsergebnisse der EU
CORDIS

Pilot Eye Gaze and Gesture tracking for Avionics Systems using Unobtrusive Solutions

Projektbeschreibung

Verbesserte Interaktion zwischen Mensch und Maschine in der Luftfahrt

Bahnbrechende Fortschritte in der Elektronik, Automatisierung, Computer- und Flugzeugtechnik haben zu einem enormen Wettbewerb im Luftverkehrssektor geführt. All diese Fortschritte haben auch zu einer Flut von Informationen geführt, welche die Pilotinnen und Piloten während des Fluges verarbeiten müssen. In diesem Zusammenhang hat das EU-finanzierte Projekt PEGGASUS auf den Fortschritten in der Computertechnologie aufgebaut, um ein neuartiges intelligentes Bildverarbeitungssystem einzuführen, das Technologien zur Blickverfolgung und zur Erkennung von Handzeichen vereint und in Cockpits zur Verbesserung der Mensch-Maschine-Interaktion eingesetzt werden könnte. Durch den Einsatz von Kameras mit Nahinfrarotsensoren, künstlicher Intelligenz und maschinellem Sehen kann das PEGGASUS-System sicherstellen, dass Pilotinnen und Piloten die Informationen erhalten, die sie benötigen, wenn sie diese brauchen.

Ziel

As the capabilities of cockpit systems increase, the way in which the pilots interact with them evolves. At the same time, flight management concepts and tools continue to increase in complexity, as well as flight and non-flight data streams, which consequently challenges the pilots’ abilities to cope with the information they need to be aware of, and exerts pressure on their cognitive states.

In in framework of the development of new Human System Interfaces carried out in WP1.2.4 the Clean Sky 2 SYSTEMS ITD, the PEGGASUS project proposes an approach to bring innovative smart vision systems to cockpits. The system we propose to develop is a crew interface and monitoring system implementing eye gaze, face, and gesture tracking technologies to bring new functionalities to Human-Machine Interfaces in the cockpit. It consists in a set of NIR-sensitive cameras powered by Computer Vision and Machine Learning algorithms running on a central processing unit. Three prototypes will be developed from a standalone lab prototype, to a TRL5 model integrated in the topic leader’s “cockpit demonstrator”. The system design shall be compliant with aircraft cockpit installation, the operational environment and pre-certification requirements. The requirements defined at the beginning of the project with the topic leader’s inputs, will be verified after its successful integration into the “cockpit demonstrator” avionics.

PEGGASUS brings together partners able to cover the complete value chain of innovative product development: SERMA Engineering (FR), an OEM for aeronautical equipment, CSEM (CH) an RTD with proven experience in innovative technologies for aeronautics, ETHZ (CH) represented by the Geogaze lab that conducts cutting edge research with eye tracking technology, particularly for the use in aviation training, and Swiss (CH), an airline and potential end user who will provide expertise in crew interfaces and monitoring.

Koordinator

CSEM CENTRE SUISSE D'ELECTRONIQUE ET DE MICROTECHNIQUE SA - RECHERCHE ET DEVELOPPEMENT
Netto-EU-Beitrag
€ 562 185,58
Adresse
RUE JAQUET DROZ 1
2000 Neuchatel
Schweiz

Auf der Karte ansehen

Region
Schweiz/Suisse/Svizzera Espace Mittelland Neuchâtel
Aktivitätstyp
Research Organisations
Links
Gesamtkosten
€ 562 185,58

Beteiligte (4)