Un sistema de cámaras en la cabina que controla la mirada de los pilotos y rastrea los gestos de sus manos Con el creciente grado de automatización de las aeronaves modernas, los pilotos deben procesar una gran cantidad de información. Un nuevo sistema de visión inteligente ayuda a los pilotos a concentrarse en la tarea más importante de cada momento. Transporte y movilidad Tecnologías industriales © CSEM Actualmente una cabina comercial típica consta de diversas pantallas de ordenador de gran tamaño, numerosos diales secundarios y cientos de interruptores. Aunque ese diseño funciona correctamente, la creciente automatización de las cabinas hace imprescindible la optimización de la interacción persona-ordenador para mejorar la eficiencia de los pilotos y la seguridad de los vuelos. El proyecto PEGGASUS, financiado con fondos europeos, ha avanzado en el desarrollo de un nuevo sistema de interfaz persona-máquina que aborda los desafíos específicos del entorno aeronáutico. Se desarrolló un sistema de cámaras instalado en el salpicadero que sigue la dirección de la mirada de los pilotos, además de reconocer los gestos de sus manos. Su objetivo es permitir la transmisión de observaciones pertinentes a los pilotos, contribuyendo así a reducir el volumen de trabajo y a mejorar la conciencia situacional cuando realizan múltiples acciones. Seguimiento de la mirada El equipo incluye varias cámaras orientadas hacia el piloto. El sistema de múltiples cámaras funciona en el rango del infrarrojo cercano, algo necesario porque las cabinas experimentan una variación extrema de intensidad de la luz, de forma que, en ocasiones, es muy luminosa y, en otras, oscura. Las cámaras trabajan conjuntamente con sistemas de inteligencia artificial de vanguardia que permiten determinar al instante la dirección en que miran los pilotos. «Hemos desarrollado una serie de algoritmos, combinando métodos analíticos y otros impulsados por datos, para detectar de forma precisa la mirada al instante y con una latencia mínima», afirma Sareh Saeedi, responsable del proyecto PEGGASUS en la empresa anfitriona, el Centro Suizo de Electrónica y Microtecnología (CSEM). Se han utilizado técnicas vanguardistas de aprendizaje automático y de visión artificial. «Primero se detecta la cara del piloto en las imágenes. Después se localizan diversos puntos de referencia en la cara y alrededor de los ojos, para finalmente detectar la pupila y calcular el centro de la curvatura de la córnea», explica Saeedi. El resultado es un sistema de visión de múltiples cámaras capaz de funcionar en tiempo real a 60 fotogramas por segundo con una latencia de 32 ms, que alcanza una precisión superior a un grado en la detección de la mirada. Reconocimiento de gestos El sistema también realiza un seguimiento de cinco gestos manuales predefinidos. Para ello, los investigadores han desarrollado un modelo de red neuronal profunda que se incorporó en el sistema para obtener una nueva modalidad de interacción. El sistema de PEGGASUS se instaló en un simulador de vuelo en las instalaciones de Lufthansa Aviation Training en Suiza, donde fue evaluado por diez pilotos profesionales. «Hemos recibido opiniones muy positivas de los pilotos», añade Gilad Scherpf, director de desarrollo de formación aeronáutica en el Lufthansa Group. «En general, valoraron el sistema de visión de PEGGASUS mejor que los sistemas de seguimiento ocular que se colocan sobre la cabeza tanto en cuanto a su comodidad como al bajo nivel de distracción». Las pruebas también indicaron que la confirmación del reconocimiento de gestos de confirmación de los mensajes de voz de control del tráfico aéreo funcionaba de forma impecable cuando los pilotos participaban en simulaciones de evasión de colisiones de tráfico. Esto destaca la posibilidad de adoptar tales sistemas en las cabinas del futuro. Una colaboración exitosa Gracias a una colaboración muy productiva, se logró desarrollar una solución personalizada. CSEM desarrolló algoritmos para el sistema de visión, mientras que SERMA Ingénierie se encargó de adaptar el equipo del sistema y de integrarlo en un demostrador de cabina. ETH Zurich realizó el diseño y ejecutó los estudios con pilotos, mientras que Swiss International Airlines respaldó al consorcio con sus conocimientos técnicos relativos a los casos de uso. El objetivo del sistema no es rediseñar radicalmente las cabinas. Sin embargo, la combinación del reconocimiento de gestos con el seguimiento ocular debería ayudar a los pilotos a concentrarse en las tareas más importantes, a minimizar las distracciones y a mejorar la seguridad de los vuelos. Palabras clave PEGGASUS, aeronave, cabina, piloto, seguimiento ocular, reconocimiento de gestos, sistema de visión, aprendizaje automático, sistema de visión inteligente
