Skip to main content
European Commission logo
polski polski
CORDIS - Wyniki badań wspieranych przez UE
CORDIS
CORDIS Web 30th anniversary CORDIS Web 30th anniversary

Article Category

Zawartość zarchiwizowana w dniu 2023-03-07

Article available in the following languages:

Jak innowacja poprawia jakość życia Hiszpanów z upośledzeniem słuchu

Naukowcy z Hiszpanii już niedługo zapewnią ponad 100.000 osób z wadami słuchu nową jakość życia. Opracowanie nowatorskiego systemu interpretacji wizualnej umożliwi osobom głuchym prowadzenie rozmów w języku, którego normalnie używają. Hiszpański język migowy tworzą setki zna...

Naukowcy z Hiszpanii już niedługo zapewnią ponad 100.000 osób z wadami słuchu nową jakość życia. Opracowanie nowatorskiego systemu interpretacji wizualnej umożliwi osobom głuchym prowadzenie rozmów w języku, którego normalnie używają. Hiszpański język migowy tworzą setki znaków, spośród których naukowcy z CVC-UAB (Centre de Visió per Computador - Universitat Autònoma de Barcelona) wybrali ponad 20 do opracowania innowacyjnego narzędzia. Znaki do pewnego stopnia różnią się od siebie w zależności od użytkownika. Mając to na uwadze naukowcy z CVC-UAB, dr Sergio Escalera i dr Petia Radeva oraz profesor Jordi Vitrià przeprowadzili szereg testów z różnymi osobami, aby pomóc systemowi uwzględniać tę zmienność. Zdaniem naukowców osoby z wadami słuchu mogły, używając znaków rozpoznawanych przez system, prowadzić podstawową rozmowę, taką jak zapytanie się o drogę. "Dla nich to jest to naturalny sposób komunikowania się, a jednocześnie mogą nawiązać kontakt z osobami, które nie posługują się językiem migowym, ponieważ system tłumaczy symbole na słowa w czasie rzeczywistym" - wyjaśnia dr Escalera. Sprzęt wyposażony jest w kamerę wideo, która może nagrywać sekwencje obrazów, kiedy wykryje, że użytkownik chce nawiązać kontakt. Zespół twierdzi, że komputerowy system wizji i automatycznego uczenia się wychwytuje mimikę, ruchy dłoni i ramienia oraz ruchy przewijania ekranu i włącza je do systemu klasyfikacji, który dopasowuje każdy ruch do słowa powiązanego ze znakiem. Unikalną cechą tego systemu jest możliwość korzystania z niego przez osoby używające języka migowego innego niż hiszpański. System można zmodyfikować, dostosowując go do potrzeb użytkowników dzięki zastosowaniu wspólnej metodologii. Migi używane w danym języku zostaną po prostu zaprogramowane w systemie. Zespół twierdzi, że istnieje możliwość zwiększenia liczby migów rozpoznawanych przez system. Podkreślają jednak, że pojawienie się nowych danych może utrudnić rozróżnianie pomiędzy poszczególnymi znakami. Eksperci sugerują, że nowe aplikacje, które są w toku opracowywania, takie jak ta z CVC-UAB, muszą być wyjątkowo precyzyjne na etapie identyfikacji. Naukowcy muszą również zmierzyć się z problemem złożoności konfiguracji aplikacji, ponieważ środowiska, w których będą one wykorzystywane obejmują różne fizjonomie oraz zmiany oświetlenia i zacienienia, jak również różne tempo "wypowiedzi" użytkowników rozmaitych języków migowych. Wprawdzie z zagadnieniem tym mierzyły się w przeszłości już inne projekty, ale albo kończyły się one niepowodzeniem albo nie zdały egzaminu w praktyce z powodu wysokiej złożoności zmiennych w niekontrolowanych środowiskach. Hiszpański projekt różni się od nich pod tym względem, że wyznacza stały punkt, w którym osoby formułują znaki. Inna ważna cecha polega na tym, że system hiszpański unika posługiwania się różnymi punktami ostrości w czasie procesu nagrywania. System już został zaprezentowany jako prototyp w końcowej fazie europejskiego projektu. Hiszpański zespół pracuje obecnie nad nowymi etapami projektu, w tym nad wykorzystaniem dwóch kamer, które mogą zidentyfikować nawet bardziej złożone migi i uzupełnić informacje o cechy charakterystyczne twarzy. Naukowców w ich pracach wspierają członkowie Katalońskiego Związku Głuchych (FESOCA)

Kraje

Hiszpania

Powiązane artykuły