Skip to main content
European Commission logo
polski polski
CORDIS - Wyniki badań wspieranych przez UE
CORDIS
CORDIS Web 30th anniversary CORDIS Web 30th anniversary

Interactive and Accessible Sign Language Translation - AccessibleTranslation

Article Category

Article available in the following languages:

Aplikacja tłumaczeniowa wyciąga pomocną dłoń do użytkowników języka migowego

Program przekształcający mowę w znaki języka migowego, który działałby na smarfonie czy tablecie, mógłby ułatwić ludziom niesłyszącym umawianie i odbywanie wizyt u lekarza czy zwiedzanie muzeów.

Gospodarka cyfrowa icon Gospodarka cyfrowa

W krajach UE jedna osoba na 1 000 jest użytkownikiem języka migowego. I choć język migowy umożliwia osobom niesłyszącym porozumiewanie się z innymi ludźmi migającymi, osoby te często czują się marginalizowane w przestrzeni publicznej, jeśli nie towarzyszy im tłumacz. Strona projektu Accessible Translation (AT) (dostępna w języku tureckim) oferuje swoim użytkownikom usługę tłumaczeń w czasie rzeczywistym wykorzystującą cyfrowe awatary. Koordynator projektu AT Özer Çelik mówi: „Wiele konkurencyjnych aplikacji dostępnych w tej niszy bazuje na wykorzystaniu sprzętu, takiego jak rękawice, czujniki itp. Aplikacja Accessible Translation działa na wszystkich platformach bez konieczności stosowania specjalistycznego sprzętu”. Aplikację można uruchomić, mając dowolne, podłączone do internetu urządzenie z aparatem lub kamerą, na przykład smartfon lub tablet.

Uczenie maszynowe

W opracowanej przez turecką firmę Nevisoft IT Technology Industries aplikacji ruchy osoby mówiącej językiem migowym są przechwytywane przez kamerę sterowaną przez sztuczną inteligencję i przekształcane na poszczególne słowa. Następnie moduł przetwarzania języka naturalnego przekłada te słowa na spójne frazy i odczytuje je nagłos lub wyświetla w postaci tekstu. Budowa gramatyczna języka migowego różni się od gramatyki języka mówionego, jak wyjaśnia Çelik. „W języku migowym nie występują przedrostki ani przyrostki, a konstrukcje czasowe są wyrażane słowami”, dodaje. Z tego względu aplikacja wykonuje dla użytkowników niedosłyszących przekład mowy na język migowy, zamiast po prostu zapisywać ją w postaci tekstu. Çelik tłumaczy: „Ponieważ słownictwo języka migowego jest bardzo ograniczone w stosunku do języka mówionego, osoby niedosłyszące mają problem ze zrozumieniem tekstu. Po prostu nie znają tylu słów. Niezmiennie najlepszym rozwiązaniem jest wykonanie tłumaczenia na język migowy”. W tłumaczeniu nie wykorzystuje się animacji, tylko znaki pokazywane przez aktora biorącego udział w nagraniu. „Uświadomiliśmy sobie, że w celu zwiększenia zrozumienia języka migowego musimy skorzystać z usług człowieka”, zauważa Çelik i przechodzi do wyjaśnień, z których wynika, że animacja nie oddaje dokładnie szczegółów ruchu dłoni czy mimiki osoby migającej.

W skali światowej

Na świecie jest w użyciu ponad 200 różnych języków migowych. Po zaprogramowaniu ich używanych najczęściej odmian, na przykład międzynarodowego języka migowego, na żądanie klientów do usługi AT będą dodawane kolejne. System jest przeznaczony dla firm i instytucji, których klientami są osoby głuche lub z ubytkiem słuchu, na przykład dla banków, uczelni i szpitali. Çelik stwierdza, że finansowanie otrzymane z UE odegrało istotną rolę w przygotowaniu firmy do wejścia na rynek europejski: „Uzyskane fundusze umożliwiły nam przeprowadzenie studium wykonalności, znalezienie potencjalnych partnerów, poprawę modelu biznesowego i przeprowadzenie badań w zakresie kanałów sprzedaży”. Çelik mówi, że firma zdołała opracować także nowe produkty, na przykład aplikację umożliwiającą użytkownikom języka migowego prowadzenie rozmów przez telefon z osobami, które nie migają. „Chcemy stać się wiodącą na rynku firmą, która będzie rozwiązywać problemy komunikacyjne, jakich doświadczają osoby z ubytkiem słuchu. Mając to na celu, staramy się zyskać zasięg globalny”.

Słowa kluczowe

AT, głuchota, słyszenie, miganie, język, aplikacja, uczenie maszynowe, sztuczna inteligencja, animacja, model, gramatyka, tekst

Znajdź inne artykuły w tej samej dziedzinie zastosowania