Service Communautaire d'Information sur la Recherche et le Développement - CORDIS

Moteur, action pour la visualisation 3D avancée

La technologie 3D ultraréaliste a encore fait un pas en avant grâce au projet PROLIGHT-IAPP, financé par l'UE, qui bénéficiera à tous, depuis les architectes jusqu'aux physiciens.
Moteur, action pour la visualisation 3D avancée
La visualisation 3D permet à une grande variété de spécialistes, allant des artistes aux scientifiques, de représenter et manipuler virtuellement leur travail. Cependant, il reste des défis à relever pour obtenir des affichages hautement réalistes. Les affichages stéréoscopiques (utilisant des lunettes) présentant deux images 2D (avec des disparités horizontales à gauche et à droite) laissent les spectateurs voir la même scène lorsqu'ils se déplacent. Les affichages autostéréoscopiques, s'ils permettent aux utilisateurs de se passer de lunettes et de générer certains changements de scène, révèlent les frontières entre paires d'images en cas de mouvement («artefacts en bande»). L'augmentation de la densité visuelle avec les projections de champs lumineux répond à ce problème, mais au prix d'un volume de données très important nécessaire pour recréer quelque chose qui ait l'air réaliste.

Le projet PROLIGHT-IAPP, financé par l'UE, a répondu à ce problème qui consiste à capturer, analyser, modéliser, compresser et reproduire des scènes du monde réel de manière efficace. Pour cela, il a exploité des méthodes modernes de traitement du signal, complétées par une compréhension de la lumière et des propriétés du champ lumineux, pour récréer une scène visuelle ultraréaliste à grande échelle.

Réaliser une visualisation 3D du monde réel en parallaxe complet

Un certain nombre d'indices visuels sont utilisés pour percevoir le monde en 3D. Comme l'explique le professeur Atanas Gotchev, coordinateur du projet: «En premier lieu, les deux yeux voient des perspectives légèrement différentes avec des disparités rétinales qui sont traitées par le cerveau pour donner sens à la profondeur de la scène. En second lieu, les deux yeux font le point sur l'objet qui les intéresse et le retour d'informations sur la manière dont la longueur de focale des lentilles change constitue l'indice. Lorsque les gens se déplacent, ils changent de perspective de vue et le mouvement relatif des objets regardés en relation à l'arrière-plan dépend de leur distance. Il y a également d'autres indices comme des perspectives, des ondes, des tailles relatives, etc., qui peuvent être vues avec un seul œil».

Lorsque ces indices sont exploités ensemble, on atteint le «parallaxe complet», dans lequel les spectateurs perçoivent simultanément la bonne perspective, le point correct et la parallaxe de mouvement lorsqu'ils se déplacent de manière horizontale et verticale. Les affichages à champ lumineux peuvent le réaliser par un ensemble de rayons lumineux suffisamment dense, touchant les rétines de la même manière que des rayons d'objets réels.

Pour pouvoir générer un tel ensemble dense de rayons, le projet PROLIGHT-IAPP a dû d'abord capturer des informations sur l'emplacement et la direction des rayons, et générer la structure et la géométrie de la scène. Pour cela, les chercheurs ont expérimenté des combinaisons de paramètres de capture à partir de divers dispositifs de détection. Il s'agissait notamment de plateformes de caméra matricielle capturant un changement de parallaxe horizontal et vertical; des combinaisons de caméras et de détecteurs Time-of-flight (ToF) (mesurant les distances entre caméra et objets), créant des cartes de texture et de profondeur; ainsi que des ouvertures codées utilisant des masques pour glaner des informations sur les scènes à partir des connaissances de point/flou.

Le professeur Gotchev résume ainsi le travail: «Nous avons montré que nous pouvions complètement reconstruire le champ lumineux continu à partir de configurations de caméras éparses et présenter tous les rayons nécessaires à l'aide de nouvelles approches d'imagerie computationnelle et d'approximation du champ lumineux». L'équipe a également cherché à quantifier la parallaxe de mouvement de tête et découvert que lorsque des modèles sinusoïdaux de profondeur variable étaient présentés à des sujets tests, en stéréo et en mono, les individus distinguaient les changements de profondeur deux fois plus efficacement en présence de parallaxe de mouvement (vision de perspectives différentes lors du déplacement de la tête).

Faire bénéficier les citoyens de l'UE de l'ère du numérique

Pour le moment, même si le savoir-faire existe, les affichages ultraréalistes de prochaine génération sont inaccessibles à cause du prix des composants comme les projecteurs «high frame rate». Cependant, en préparation, le projet PROLIGHT-APP a développé certains des matériels nécessaires, ainsi qu'une nouvelle méthode de calibration de l'affichage, ce qui est important si on compare les 70 millions de rayons dans un affichage de champ lumineux actuel et les 5 milliards ou plus de rayons nécessaires pour le parallaxe complet.

Expliquant les forces motrices de cette nouvelle technologie numérique, le professeur Gotchev déclare: «L'imagerie de champ lumineux est le prochain gros sujet en médias audiovisuels, avec le potentiel de modifier la manière dont les personnes consomment et interagissent avec les informations visuelles». Cependant, en ligne avec la «stratégie numérique pour l'Europe» qui vise à établir un marché unique pour les échanges numériques de contenus et de services, ces technologies visuelles bénéficient également de la recherche scientifique et d'applications, par exemple pour les médecins qui ont la possibilité de représenter des parties anatomiques pour améliorer la prévention et le traitement des maladies, ainsi que pour l'éducation. Le professeur poursuit en extrapolant que «l'imagerie de champ lumineux est également d'une importance cruciale pour des domaines dans lesquels la présence humaine est risquée ou impossible, par exemple pour faire face aux catastrophes naturelles. De plus, elle est utile pour visualiser des données qui s'avèrent sinon relativement abstraites, comme le Big Data».

Thèmes

Life Sciences

Mots-clés

PROLIGHT-IAPP, visualisation 3D, projections de champ lumineux, propriétés de la lumière, parallaxe complet, parallaxe de mouvement, largeur de bande d'affichage, technologies numériques, visualisation ultraréaliste