Les interactions main-objet atteignent des niveaux inédits grâce à VirtualGrasp
L’un des principaux défis auxquels sont confrontés les développeurs d’applications de réalité virtuelle (RV) concerne les interactions main-objet. Il faut admettre que les casques de RV font un travail remarquable pour nous plonger dans des mondes virtuels réalistes. Ils sont même devenus un outil incontournable pour la formation professionnelle, en particulier dans le contexte de cette pandémie sans précédent. Mais dans les deux cas – tout comme dans d’autres domaines d’application de la RV – les interactions entre la main et l’objet sont loin d’être aussi naturelles que dans le monde réel. Jakob Way, PDG de Gleechi, une start-up du domaine de la RV et de la robotique, résume ainsi l’état actuel des choses: «Les participants aux formations en RV utilisent principalement des contrôleurs manuels. Ils doivent être en mesure de ressentir des interactions manuelles naturelles pour développer de nouvelles compétences et acquérir suffisamment de confiance pour les appliquer dans le monde réel. En parallèle, bien que les adeptes des jeux de RV puissent déjà interagir avec des objets, il s’est jusqu’à présent avéré impossible de créer et d’animer “à la main” ces interactions manuelles, en raison du temps requis pour animer un grand nombre de saisies différentes pour toute une variété d’objets.» Ce dernier point s’avère essentiel pour bien comprendre les limites actuelles des interactions main-objet. Pour chaque interaction possible, les développeurs doivent actuellement définir la façon dont un objet peut être saisi avant d’animer manuellement ces saisies. Cela impose des limites intrinsèques aux interactions: les objets ne peuvent être utilisés que de manière prédéterminée, et il faut beaucoup de temps pour parvenir à ces résultats mitigés.
Un constructeur d’interactions basé sur des algorithmes
C’est là que VirtualGrasp (Speeding up the virtual reality revolution with realistic & real-time animation of hand-to-object interaction) entre en jeu. En combinant l’apprentissage automatique et les algorithmes prédictifs, Gleechi offre aux utilisateurs de RV une liberté totale d’interaction. VirtualGrasp est particulièrement bien adapté à trois domaines d’application différents: la formation, les jeux et la rééducation post-traumatique. Pour la formation, l’équipe a développé une compréhension approfondie de la façon dont chaque objet est tenu et utilisé, un aspect essentiel pour offrir une expérience d’apprentissage vraiment immersive. Pour les jeux de RV, VirtualGrasp parvient à automatiser la création d’interactions entre les mains et les objets 3D. Enfin, pour les patients victimes d’un accident vasculaire cérébral, le système peut prédire les saisies souhaitées par le patient et les convertir en interactions RV. Jakob Way explique: «Pour le moment, les patients peuvent pratiquer des exercices de rééducation dans un environnement de RV en effectuant des tâches motivantes, par exemple en participant à des jeux ou en plantant des fleurs. Toutefois, en raison de la mobilité limitée de leurs mains et de leurs doigts, ils ont souvent du mal à effectuer les saisies précises nécessaires. En prédisant ces saisies, nous espérons accélérer le processus de rééducation grâce à l’amplification visuelle.» Les résultats des essais ont été très encourageants dans ces trois domaines, mais les confinements imposés en raison de la COVID-19 ont incité l’équipe à se concentrer davantage sur les applications commerciales dans le domaine de la formation. Il a été démontré que VirtualGrasp renforçait l’impact de la formation en RV et simplifiait considérablement la création d’applications de formation en RV. Après avoir observé une augmentation de 50 % de la rétention des savoirs chez les participants aux formations en RV, Gleechi a accéléré le développement d’outils en libre-service afin de permettre aux entreprises industrielles de créer leur propre formation en RV. «SAAB Aeronautics teste activement VirtualGrasp en vue d’une formation avancée en RV où les participants apprennent à utiliser des outils et des équipements spécialisés pendant le processus d’assemblage», explique Jakob Way. «Les interactions naturelles permettent à SAAB Aeronautics de dispenser une formation à distance tout en conservant des normes de qualité exceptionnellement élevées.» De la même manière, YrkesAkademin, un important prestataire de formations professionnelles, a adopté VirtualGrasp pour transmettre rapidement des compétences essentielles aux employés du secteur médical en mettant l’accent sur le travail en milieu stérile. «La formation exige une manipulation minutieuse d’outils et d’équipements médicaux complexes où le respect des procédures est crucial pour maintenir un environnement stérile. En étant en mesure d’interagir naturellement, les participants parviennent ainsi à développer une expérience pratique quand il s’avère problématique d’avoir accès à des environnements stériles réels à des fins de formation», observe Jakob Way. Gleechi a levé 2,4 millions d’euros de fonds pour commencer à commercialiser son logiciel de formation en RV, et les travaux de R&D vont se poursuivre grâce à un projet de subvention supplémentaire visant à tester cette même technologie d’interaction dans le domaine de la robotique.
Mots‑clés
VirtualGrasp, réalité virtuelle, RV, interactions main-objet, algorithmes, formation, Gleechi