Des avatars photoréalistes pour des expériences de RV encore plus immersives Tous ceux qui connaissent les jeux vidéo «Les Sims» ont sans doute eu une impression de déjà-vu la première fois qu’ils ont expérimenté la réalité virtuelle sociale. Mais si ces personnages à l’allure cartoonesque ont apporté une véritable bouffée d’air frais en l’an 2000, ils donnent inévitablement une impression un peu incongrue lorsqu’ils sont transposés dans de prétendues expériences de réalité virtuelle immersives. Le temps est-il venu d’adopter une approche photoréaliste de la réalité virtuelle sociale? Économie numérique © View Apart, Shutterstock Le terme «immersif» est souvent le premier qui vient à l’esprit quand on pense à la réalité virtuelle (RV). Mais il y en a un second qui le suit de près: «social». Comme le montre le récent boom des applications sociales de RV, l’immersion va de pair avec la capacité des utilisateurs à interagir comme ils le feraient dans le monde réel. Le projet VRTogether (An end-to-end system for the production and delivery of photorealistic social immersive virtual reality experiences), financé par l’UE, se situe à ce carrefour tant convoité entre les RV immersive et sociale. Le projet promet des expériences de RV révolutionnaires construites autour d’un «contenu immersif photoréaliste social», proposé à un coût abordable. Pour faire court, VRTogether souhaite que les utilisateurs de RV oublient les avatars auxquels ils ont eu affaire jusqu’à présent, et qu’ils s’immergent dans les expériences de RV en ayant exactement la même apparence que dans le monde réel. «Nous avons concentré notre travail sur la création des outils nécessaires pour faire participer de nombreux utilisateurs, les capter en temps réel sous forme de vidéos volumétriques, et les transposer dans des environnements virtuels. Nous disposons désormais d’une plateforme d’holoconférence légère de bout en bout qui repousse les limites technologiques actuelles pour intégrer de manière transparente des personnes – ou plutôt une version numérique de ces dernières – dans des environnements de RV ou de réalité étendue (XR)», résume Sergi Fernandez, coordinateur de VRTogether et directeur de la division «Media & Internet» chez i2CAT. L’équipe du projet n’a négligé aucun détail pour créer ses avatars photoréalistes. «Une plateforme, en soi, est composée de divers éléments qui peuvent à la fois être utilisés individuellement et ajouter de la valeur à des parties spécifiques de la chaîne. Nous avons généré des outils de capture, de diffusion en continu et de communication entre plusieurs utilisateurs à l’aide de la vidéo volumétrique. Ces composants peuvent également servir à d’autres fins, comme la diffusion de vidéos volumétriques pures pour les contenus de nouvelle génération ou la capture réaliste de personnages, qui seront ensuite post-produits en tant qu’effets visuels», explique Sergi Fernandez. Au-delà de la capture 3D et de la reconstruction des utilisateurs sous la forme d’un nuage de points, le consortium a également développé des solutions pour garantir une faible latence, un nouveau format de compression pour économiser de la bande passante, une orchestration des médias pour créer des expériences cohérentes et synchronisées pour tous les utilisateurs, la capacité de diffuser du contenu en temps réel et des protocoles pour rendre les interactions entre les objets plus universelles. Et, cerise sur le gâteau, l’usage domestique est pris en charge, avec un démarrage simplifié pour les utilisateurs. La technologie proposée peut être comparée à celle qui est utilisée dans les superproductions CGI d’Hollywood, pour un coût nettement inférieur. Des jeux aux applications de rencontre Ce ne sont pas les applications potentielles qui manquent. Selon les propres termes de Sergi Fernandez, «VRTogether constitue le germe de la prochaine génération d’outils de communication et de collaboration, où les frontières entre le réel et le numérique s’estomperont. Notre technologie peut être appliquée au visionnage de contenu, aux jeux, à la formation, à l’éducation, à la culture, à l’industrie, ou à tout autre domaine où les collaborations humaines dans des environnements hybrides ou virtuels requièrent une qualité d’expérience supérieure à celle qu’offrent les appels vidéo encadrés actuels.» Pour s’assurer que ces expériences finissent par se concrétiser, l’équipe du projet a développé trois pilotes de contenu pour procéder à la démonstration de la technologie et attirer des clients potentiels. Dans ces pilotes, les utilisateurs peuvent participer à une enquête sur un meurtre. «Il s’agit d’une histoire en trois volets, avec un chapitre par pilote», explique Sergi Fernandez. «Les utilisateurs doivent découvrir l’auteur d’un crime et collaborer par groupes de deux à six afin d’interroger des suspects dans un poste de police, participer à une émission de télévision et inspecter une scène de crime.» Les partenaires intéressés par les applications de la technologie VRTogether dans des cas d’utilisation spécifiques ont déjà commencé à collaborer, et l’équipe prévoit de commercialiser un premier produit dès 2022. Entre-temps, les partenaires du projet ont commencé à travailler sur des projets de suivi: i2CAT, par exemple, est en train de développer deux salles virtuelles de jeu d’évasion, ainsi qu’une expérience dite «watch-together-in-VR» pour un diffuseur. Au final, VRTogether nous rapproche des expériences de type RV en direct, où le réalisme est poussé à l’extrême. Mots‑clés VRTogether, avatar, photoréaliste, réalité virtuelle, RV, RV sociale
