Un sistema di telecamere nella cabina di pilotaggio per monitorare lo sguardo dei piloti e tracciarne i gesti delle mani
Oggigiorno, in una cabina di pilotaggio commerciale tipica sono presenti diversi monitor di computer di grandi dimensioni, numerose manopole secondarie e centinaia di interruttori. Sebbene tali progettazioni funzionino bene e permettano di incrementare il livello di automazione all’interno degli abitacoli, è fondamentale ottimizzare l’interazione uomo-computer per migliorare l’efficienza dei piloti e la sicurezza in volo. PEGGASUS, finanziato dall’UE, ha sviluppato un sistema di interfaccia uomo-macchina volto ad affrontare le sfide uniche che interessano il settore aeronautico. Nell’ambito di tale progetto è stato sviluppato un sistema di telecamere, da installare nel quadro strumenti, che traccia la direzione dello sguardo dei piloti e riconosce al contempo i gesti delle loro mani. Il suo obiettivo è quello di consentire ai piloti di reagire senza alcun intoppo, contribuendo a ridurre il carico di lavoro e a migliorare la consapevolezza situazionale quando devono gestire molteplici azioni.
Tracciare lo sguardo
Il sistema è costituito da diverse telecamere montate di fronte al pilota. Il funzionamento di questa soluzione a più telecamere si basa sulla gamma del vicino infrarosso, il che è necessario perché nelle cabine di pilotaggio si verificano variazioni estreme di intensità della luce, passando da condizioni di alta luminosità ad altre di oscurità. Le telecamere sono supportate da una tecnologia di IA Edge all’avanguardia, in grado di determinare in tempo reale la direzione dello sguardo dei piloti. «Abbiamo sviluppato una linea di algoritmi che combina approcci analitici e basati sui dati allo scopo di individuare accuratamente lo sguardo in tempo reale e con una latenza minima», afferma Sareh Saeedi, responsabile di progetto presso l’azienda che ha ospitato PEGGASUS, il Centro svizzero di elettronica e microtecnica (CSEM). Sono state utilizzate tecniche di visione artificiale e apprendimento automatico all’avanguardia. «Innanzitutto, viene rilevato il volto del pilota nelle immagini. Successivamente vengono localizzati diversi punti di riferimento sul viso e intorno agli occhi, seguiti dall’individuazione delle pupille e da una stima del centro della curvatura corneale», spiega Saeedi. Il risultato è un sistema di visione a più telecamere in grado di funzionare in tempo reale a 60 fotogrammi al secondo con una latenza di 32 ms, il che rientra ampiamente nella prima classe di precisione per il rilevamento dello sguardo.
Riconoscimento dei gesti
Il sistema traccia inoltre cinque gesti delle mani predefiniti. A tal fine, i ricercatori hanno sviluppato un modello di rete neurale profonda che è stato integrato nel sistema al fine di fornire una nuova modalità di interazione. Il sistema di PEGGASUS è stato installato in un simulatore di cabina di pilotaggio presso Lufthansa Aviation Training in Svizzera, dove è stato valutato da 10 piloti professionisti. «Abbiamo ricevuto un riscontro molto positivo dai piloti», aggiunge Gilad Scherpf, responsabile del reparto di Sviluppo della formazione aeronautica per il Lufthansa Group. «Nel complesso, i piloti hanno valutato il sistema di visione di PEGGASUS con un voto più alto rispetto ai sistemi di tracciamento oculare montati sulla testa in termini di comfort e bassa distrazione.» I test hanno dimostrato che il riconoscimento dei gesti effettuati in risposta ai messaggi vocali di controllo del traffico aereo ha funzionato perfettamente quando i piloti sono stati coinvolti in scenari di simulazione per la prevenzione delle collisioni, mettendo in evidenza il potenziale di adozione di tali sistemi nelle future cabine di pilotaggio.
Collaborazione per raggiungere il successo
Grazie a una collaborazione molto produttiva, è stato possibile sviluppare una soluzione su misura. Il CSEM ha realizzato gli algoritmi per il sistema di visione, mentre l’impresa SERMA Ingénierie è stata responsabile dell’adattamento dell’hardware di sistema e della sua integrazione in un dimostratore per cabina di pilotaggio. Quindi, il Politecnico federale di Zurigo ha effettuato le attività di progettazione e svolgimento degli studi con i piloti e, infine, la compagnia aerea Swiss International Airlines ha sostenuto il consorzio apportando competenze sui casi d’uso. Il sistema non è concepito per riprogettare in modo radicale le cabine di pilotaggio. Ciononostante, la combinazione del riconoscimento dei gesti e del tracciamento oculare dovrebbe aiutare i piloti a concentrarsi sulle attività più importanti che devono svolgere, riducendo al minimo le distrazioni e migliorando la sicurezza in volo.
Parole chiave
PEGGASUS, aeromobile, cabina di pilotaggio, pilota, tracciamento oculare, riconoscimento dei gesti, sistema di visione, apprendimento automatico, sistema di visione intelligente
