Lorsque vous ne parlez pas ou ne signez pas la même langue
Depuis son lancement en 2021, le projet SignON, financé par l’UE, développe une application mobile qui assure la traduction automatique entre des langues signées et orales. Il entend faciliter l’échange d’informations entre les personnes sourdes, malentendantes et entendantes à travers l’Europe en utilisant les langues des signes irlandaise, britannique, néerlandaise, flamande et espagnole, ainsi que les langues parlées anglaise, irlandaise, néerlandaise et espagnole. À cette fin, SignON cible la communication dans le secteur de l’hôtellerie et de la restauration. Cet objectif est illustré dans une vidéo présentée en langue des signes internationale, disponible sur le site web de SignON: «Une Irlandaise sourde utilisant la langue des signes se rend en Espagne dans le cadre de son travail. Elle doit s’enregistrer à l’hôtel, mais elle est pressée d’assister à une conférence. Le réceptionniste de service de l’hôtel ne parle que l’espagnol. La cliente sourde ne connaît pas l’espagnol et n’a pas le temps de se lancer dans un échange écrit en anglais.» Comment l’application en cours de développement contribuera-t-elle à résoudre ce problème? La vidéo apporte l’explication suivante: «La personne sourde peut signer en langue des signes irlandaise, et l’application produit un texte en espagnol. Le réceptionniste de l’hôtel peut alors s’exprimer en espagnol, et l’application fournit une traduction en langue des signes irlandaise par l’intermédiaire d’un avatar en langue des signes.» Les technologies d’IA utilisées par l’application comprennent la reconnaissance de la langue des signes et de la parole, ainsi que la traduction et la synthèse automatiques de personnages virtuels en 3D. Le plus grand défi réside dans l’énorme quantité de données de haute qualité nécessaires pour générer des traductions bien acceptées entre les différentes langues. Un autre défi à relever concerne le type de données sur la langue des signes utilisées pour former les modèles d’IA. Par exemple, les données ont-elles été obtenues auprès d’interprètes non natifs qui ont appris une langue des signes en tant que langue étrangère, comme c’est le cas pour les émissions d’information qui font appel à des interprètes entendants? «Ces derniers font souvent preuve de partialité dans leur utilisation de la langue des signes, ce qui signifie que les personnes sourdes utilisant l’application pourraient devoir adapter leur propre langue des signes (native) à celle des utilisateurs non natifs afin d’être comprises par l’application. Malheureusement, les données sur la langue des signes d’une qualité acceptable sont très rares et dispersées.»
La cocréation est la clé
SignON aborde ces questions en s’engageant fermement en faveur du principe de cocréation. Tout au long du projet, les chercheurs ont collaboré avec des communautés de sourds et malentendants d’Europe pour définir les cas d’utilisation et pour concevoir et développer conjointement le service et l’application SignON. Le 22 septembre 2023, un jour avant la célébration annuelle de la Journée internationale des langues des signes, SignON organisera un atelier intitulé «Navigating the Future of Sign Language Machine Translation: Insights and Challenges from the SignON Project» («Explorer l’avenir de la traduction automatique en langue des signes: Perspectives et défis du projet SignON»). Cet atelier exposera les résultats et les défis de SignON à l’approche de la fin du projet. L’équipe de recherche présentera également un nouveau livre blanc contenant des recommandations politiques. L’atelier se tiendra à Bruges, en Belgique. SignON (SignON - Sign Language Translation Mobile Application and Open Communications Framework) se termine en décembre 2023. Pour plus d’informations, veuillez consulter: site web du projet SignON
Mots‑clés
SignON, langue, langue des signes, sourds, malentendants, entendants, langue parlée, communication