Skip to main content
European Commission logo
Deutsch Deutsch
CORDIS - Forschungsergebnisse der EU
CORDIS
CORDIS Web 30th anniversary CORDIS Web 30th anniversary

Interactive and Accessible Sign Language Translation - AccessibleTranslation

Article Category

Article available in the following languages:

Übersetzungs-App als Hilfe für Menschen mit Gebärdensprache

Ein Programm, das gesprochene Sprache in Gebärdensprache umwandelt und auf Smartphones oder Tablets funktioniert, könnte gehörlose Menschen bei Krankenhausterminen und Museumsbesuchen helfen.

EU-weit benutzt etwa eine Person von 1 000 eine Gebärdensprache für Gehörlose. Obgleich dies die Kommunikation mit anderen Personen mit Gebärdensprache ermöglicht, werden gehörlose Menschen in der Öffentlichkeit oftmals marginalisiert, sofern keine dolmetschende Fachkraft anwesend sind. Das Projekt Accessible Translation (AT) (Website auf Türkisch) zielt auf die Bereitstellung eines Echtzeit-Übersetzungsdienstes auf der Basis digitaler Avatare ab. „Viele Konkurrenzanwendungen, die auf diesem Gebiet entwickelt werden, hängen von Ausrüstung wie Handschuhen, Sensoren usw. ab“, sagt Projektkoordinator Özer Çelik. „Accessible Translation funktioniert auf allen Plattformen, ohne dass spezielle Hardware erforderlich ist.“ Die Anwendung kann auf jedem mit dem Internet verbundenen Gerät betrieben werden, das eine Kamera hat, beispielsweise auf Smartphones oder Tablets.

Maschinelles Lernen

In der von der türkischen Firma Nevisoft IT Technology Industries entwickelten App werden die Bewegungen der Gebärdensprache sprechenden Person mittels Kamera durch künstliche Intelligenz erfasst und in einzelne Worte umgewandelt. Daraufhin wird ein Modul für die Verarbeitung natürlicher Sprache verwendet, um diese Worte in zusammenhängende Sätze zu übertragen und laut vorzulesen oder als Text anzuzeigen. Die grammatikalische Struktur der Gebärdensprache unterscheide sich laut Çelik ziemlich von der grammatikalischen Struktur gesprochener Sprache. „In der Gebärdensprache gibt es keine Konzepte wie Vorsilben oder Nachsilben. Zeitliche Konzepte werden mit Worten ausgedrückt“, erklärt er. Daher übersetzt die App für gehörlose Nutzerinnen und Nutzer auch gesprochene Sprache in Gebärdensprache, anstatt diese einfach als Text zu transkribieren. „Da der Wortschatz der Gebärdensprache im Vergleich zur gesprochenen Sprache äußerst minimalistisch ist, haben Personen mit Hörschädigung Schwierigkeiten beim Textverständnis, da sie nicht so viele geschriebene Worte kennen“, sagt Çelik. „Die beste, dauerhafte Lösung ist die Übersetzung von Gebärdensprache.“ Die Zeichen bei der Übersetzung werden durch gefilmte Schauspielerinnen und Schauspieler dargestellt, anstatt durch eine Animation. „Wir stellten fest, dass ein reales menschliches Modell verwendet werden sollte, um die Verständlichkeit der Gebärdensprache zu erhöhen“, merkt Çelik an, und erläutert, dass Animationen Feinheiten bei Handbewegungen und Gesichtsausdrücken nicht adäquat erfassen könnten.

Weltweite Bedeutung erlangen

Weltweit werden über 200 verschiedene Zeichensprachen genutzt. Nach der Programmierung der meistverwendeten Sprachen wie der internationalen Gebärdensprache wird der AT-Dienst auf Kundenanfrage um weitere Sprachen ergänzt. Das System ist auf Betriebe ausgelegt, die mit tauben oder hörgeschädigten Personen zu tun haben, beispielsweise Banken, Universitäten und Krankenhäuser. Çelik sagt, dass EU-Fördermittel wichtig gewesen seien, um das Unternehmen auf den Einstieg in den europäischen Markt vorzubereiten: „Dank der erhaltenen Fördermittel konnten eine Machbarkeitsstudie durchgeführt, potenzielle Partner gefunden, das Geschäftsmodell verbessert und Vertriebskanäle ausgemacht werden.“ Laut Çelik entwickelt das Unternehmen außerdem neue Produkte wie eine Anwendung, mit der Nutzerinnen und Nutzer von Gebärdensprache Telefongespräche mit Personen führen können, die der Gebärdensprache nicht mächtig sind. „Wir möchten ein führendes Unternehmen werden, das Kommunikationsprobleme löst, denen Personen mit Hörschädigung ausgesetzt sind. In dieser Hinsicht arbeiten wir daran, global zu werden.“

Schlüsselbegriffe

AT, Taubheit, Hörvermögen, Zeichen, Sprache, App, maschinelles Lernen, künstliche Intelligenz, Animation, Modell, Grammatik, Text

Entdecken Sie Artikel in demselben Anwendungsbereich