Du texte au monde virtuel: la promesse de MUSE
Aussi intéressants qu'ils puissent être, les faits décrits par les livres d'histoire ne sont pas toujours faciles à appréhender, notamment par des jeunes enfants, et le fait d'avoir à lire des centaines de pages en petits caractères peut être pour le moins éprouvant. Le succès impressionnant des jeux vidéo narratifs montre que l'intérêt existe, mais aussi que l'interactivité peut être une meilleure méthode de présenter des histoires, d'une façon attrayante et mémorable. Cependant et jusqu'ici, la transition du livre au jeu vidéo est souvent longue et onéreuse. Et si bientôt, les ordinateurs pouvaient comprendre un texte et en tirer automatiquement des personnages, des situations, des actions et des objets, et les présenter dans un monde virtuel en 3D afin de transformer des lecteurs passifs en participants actifs d'une histoire? C'est la promesse du projet MUSE (Machine Understanding for interactive StorytElling), financé par l'UE, qui veut donner vie aux textes en développant un système innovant pour les traduire en un monde virtuel. Au cours de ces deux années et demie, l'équipe a évalué le système avec deux cas, les histoires pour enfants et les documents d'information des patients. Le site web du projet présente notamment une vidéo de démonstration résultant de la conversion d'un guide du patient en jeu vidéo, où le patient peut explorer un hôpital, se familiariser avec le processus d'admission et mieux comprendre les soins qu'il recevra. Cette vidéo représente la première étape majeure vers la commercialisation d'un système aussi révolutionnaire. Le projet MUSE pourrait avoir un impact majeur sur des secteurs comme celui des jeux vidéo, qui simplifieraient leurs processus de développement grâce à sa méthode de traitement du langage naturel, ou pour les écoles qui pourraient rendre plus efficaces leurs programmes. Le professeur Dr Marie-Francine Moens de l'université catholique de Louvain, qui coordonne le projet, explique comment fonctionnera le système ainsi que les plans de l'équipe pour le rapprocher de la commercialisation. Comment êtes-vous arrivée au concept proposé par MUSE? Il y a plusieurs années, j'avais eu l'idée que les étudiants ou les personnes impliquées dans un univers éducatif, devaient bénéficier d'un contexte plus vivant au moment de l'apprentissage de nouvelles informations. Ceci a conduit à l'idée de transformer automatiquement le texte en actions et en situations dans un monde virtuel. Dans un tel contexte, l'utilisateur pourrait faire partie de l'histoire. Par exemple, au lieu de lire ou d'étudier un texte historique plutôt rébarbatif, il pourrait devenir l'un des acteurs d'une scène de signature d'un traité par Napoléon. Un tel environnement faciliterait la compréhension du texte et la mémorisation de son contexte. Le projet MUSE ne va pas encore jusque-là, mais il pose les bases d'un tel système. Comment fonctionnerait la conversion? L'idée est de reconnaître les acteurs, les actions et les objets dans un texte, et de les traduire sous forme visuelle. Nous avons développé les composants sophistiqués de traitement du langage naturel pour l'analyse sémantique des textes. Il s'agit notamment de la reconnaissance des rôles sémantiques dans les phrases (comme «qui» «fait quoi», «où», «quand» et «comment»), les relations spatiales entre les objets (l'emplacement d'un objet ou d'une personne), et la chronologie. Là nous suivons les annotations standard de sémantique linguistique, qui ont déjà été bien étudiées et apportent des ensembles de données annotés pour nos algorithmes de reconnaissance. Mais les reconnaissances sont souvent incertaines, et dans certains cas il faut d'autres informations pour comprendre une phrase en langage naturel (ce qui est implicite dans le texte). Nous avons donc conçu un cadre de réseau bayésien pour générer l'interprétation la plus probable d'une phrase, à partir du texte lui-même et de la connaissance du contexte. Quels sont les principaux marchés visés? Nous ciblons principalement le secteur des jeux et les fournisseurs d'outils de e-learning (apprentissage à distance). Pour créer des mondes virtuels, ces secteurs s'appuient largement sur des connaissances humaines. Le fait de traduire automatiquement le langage naturel en instructions destinées à un monde graphique éliminerait ce goulet d'étranglement. Dans le cas des histoires pour enfants, quels sont les avantages de votre système? L'outil MUSE peut aider l'enfant à apprendre à lire. Les images pourraient être adaptées à son niveau de lecture. L'outil peut aider les enfants à apprendre à faire des inférences en lisant, et finalement à mieux comprendre un écrit. L'outil pourrait aussi aider à comprendre un texte, le mémoriser et en tirer des références (par exemple en étudiant un texte sur la science ou la biologie). Nous évaluons en ce moment l'utilisation des visualisations avec des enfants. Le projet s'achevera prochainement. Êtes-vous satisfaite des résultats à ce jour? Dans l'ensemble, je suis satisfaite des résultats, tout spécialement de ceux de nos travaux sur la compréhension du langage naturel. Nous avons réussi à faire progresser ce domaine difficile. Plusieurs publications sont en cours de rédaction. La compréhension du langage naturel est très importante dans de très nombreux cas, et elle a encore besoin de recherche fondamentale surtout pour l'acquisition automatique du contexte perçu ou de la connaissance de l'environnement. MUSE nous a apporté des informations très utiles, que nous utiliserons dans les recherches qui viennent. Le consortium de MUSE aurait bien bénéficié d'un partenaire connaissant les langages de programmation conçus pour piloter les visualisations graphiques sur informatique, car l'objectif de MUSE est de transformer le langage naturel en normes de représentation pour l'infographie, mais cette expertise s'est avérée difficile à trouver. Quand pensez-vous commercialiser le système MUSE? Des partenaires potentiels se sont-ils déjà manifestés? Nos techniques de langage seront utilisées par une société dérivée en Belgique, SmartSpoken, qui est en cours de formation. Nous avons déjà des discussions avec Fishing Cactus, une société belge de jeux. Avez-vous des plans de suivi après la fin du projet? Oui, car un nouveau domaine de recherche de la compréhension du langage naturel, très intéressant, étudie l'apprentissage de la représentation multimodale (basée sur les réseaux de neurones, les modèles vectoriels, les modèles graphiques probabilistes, etc.), dans laquelle les données textuelles et visuelles aident à acquérir le contexte et la connaissance de l'environnement. Cette technique est utile pour la compréhension du langage naturel et pour la vision informatique. Nous avons proposé plusieurs projets de recherche sur ce sujet, aux niveaux national et européen, et nous espérons qu'ils recevront un soutien. Pour plus d'informations, consulter: MUSE http://www.muse-project.eu/
Pays
Belgique