Pierwszy system pozwalający na automatyczne tłumaczenie języka migowego
Problemy ze słuchem, które można zakwalifikować jako niepełnosprawność, dotykają około 5 % ludności świata, czyli 466 milionów osób. W samej Unii Europejskiej około 800 000 osób posługuje się różnymi wariantami języka migowego w celu komunikacji. Pomimo faktu, że osoby niesłyszące stanowią znaczącą część społeczeństw na całym świecie, poziom zrozumienia języka migowego przez osoby słyszące jest zwykle bardzo słaby. Co więcej, nie istnieją rozwiązania technologiczne pozwalające na wypełnienie tej semantycznej luki w komunikacji międzyludzkiej. W rezultacie tej sytuacji wiele osób niesłyszących odczuwa problemy z pełną integracją ze społeczeństwem, zarówno w pracy, jak i podczas korzystania z usług publicznych i prywatnych. Na szczęście powstało rozwiązanie SignAll – innowacyjny system tłumaczenia języka migowego oparty na sztucznej inteligencji, pozwalający na przekładanie go na inne języki, który ma szansę na poprawę jakości życia osób niesłyszących i niedosłyszących. Finansowanie otrzymane w ramach programu „Horyzont 2020” pozwoliło na lokalizację projektu SIGNALL na potrzeby rynku Unii Europejskiej. System SignAll umożliwia bezpośrednie, bezproblemowe i zautomatyzowane tłumaczenie w ramach komunikacji pomiędzy osobami niesłyszącymi i słyszącymi, bez potrzeby korzystania z usług żywego tłumacza. To pierwsze rozwiązanie sprzętowo-programowe tego rodzaju opracowane na świecie, które już teraz jest gotowe do wejścia na rynek. Pierwsza wersja rozwiązania SignAll została opracowana z myślą o Stanach Zjednoczonych i stanowiła prototyp systemu tłumaczeń z amerykańskiego języka migowego (ASL). Zespół zajmujący się rozwojem rozwiązania SignAll planuje obecnie dostosowanie technologii do potrzeb społeczności osób niesłyszących i niedosłyszących w Europie oraz wprowadzenie rozwiązania na rynki w całej Unii Europejskiej.
Słuchanie i nauka
System SignAll wykorzystuje setki algorytmów uczenia maszynowego opracowanych z myślą o tym rozwiązaniu w celu analizy informacji gromadzonych przez system kamer i czujników, uwzględniający zarówno duże ruchy szkieletowe, aż po minimalne zmiany wyrazu twarzy. Gesty dłoni są wykrywane przy pomocy rękawic opracowanych z myślą o tym rozwiązaniu, natomiast nowoczesny system rozpoznawania obrazów pozwala na monitorowanie mimiki twarzy oraz mowy ciała, które stanowią niezwykle istotne, jednak często pomijane aspekty języków migowych. „Jednym z rozwiązań wyróżniających system SignAll jest możliwość rozpoznawania mimiki twarzy, innymi słowy, nasz system wie, czy rozmówca na przykład unosi brwi”, twierdzi Zsolt Robotka, dyrektor generalny firmy SignAll Technologies i koordynator projektu. Poza trudnościami wynikającymi z konieczności interpretacji wielu języków migowych, rozwiązanie musi radzić sobie także z szeregiem lokalnych dialektów, a także informacjami wynikającymi z kontekstu rozmowy, które mogą zmieniać znaczenie poszczególnych znaków. „Współpracujemy z zespołem uznanych językoznawców, którzy rozumieją niuanse języków migowych używanych w poszczególnych krajach i dzielą się swoją wiedzą w celu usprawnienia technologii, wyjaśniając nam, w jaki sposób można przekładać te kombinacje ruchów w sposób poprawny gramatycznie”, mówi Robotka. W ramach projektu SignAll powstaje również nieustannie doskonalony dodatkowy system – interaktywne oprogramowanie pozwalające na naukę amerykańskiego języka migowego, które można dostosować do indywidualnych potrzeb. Narzędzie wykorzystuje techniki gamifikacji procesu uczenia się, nauczania oraz sprawdzania umiejętności użytkowników w zakresie języka migowego. „Nasze narzędzie Learn ASL stanowi nasze najnowsze osiągnięcie, ponieważ motywuje użytkowników do nauki, dzięki czemu coraz więcej osób poznaje amerykański język migowy w stopniu komunikatywnym. Mamy nadzieję, że wdrożenie tego rozwiązania przełoży się na lepsze możliwości integracji społecznej osób niesłyszących i niedosłyszących w codziennym życiu”, dodaje Robotka.
Sukces dzięki wsparciu
Członkowie zespołu SignAll są wdzięczni za wsparcie otrzymane ze strony Unii Europejskiej, dzięki któremu mogli skupić się na rozwoju technologii, jednocześnie zgłębiając zagadnienia unijnego prawa oraz poznając języki migowe w poszczególnych państwach członkowskich. „Mogliśmy również lepiej zrozumieć zagadnienia techniczne oraz potencjał biznesowy związany z każdym językiem migowym występującym w regionie. Innymi słowy, dzięki otrzymanemu wsparciu mogliśmy opracować plan wprowadzenia naszego rozwiązania na rynek europejski”, stwierdził Robotka. „Najważniejszą kwestią dla naszego zespołu jest działanie naszego rozwiązania oraz reakcje jego użytkowników. Jesteśmy zadowoleni z faktu, że coraz więcej osób cieszy się z jego wprowadzenia. Wraz z jego rosnącą popularnością, coraz bardziej zbliżamy się do realizacji naszej misji społecznej – zapewnienia równych szans osobom niesłyszącym”, podsumowuje Robotka.
Słowa kluczowe
SIGNALL, osoba niesłysząca, trudność, tłumaczenie, nauczanie, nauka, ASL, algorytm, kamery
