CORDIS
Wyniki badań wspieranych przez UE

CORDIS

Polski PL

Audio-Visual System for the Blind Allowing Visually Impaired to See Through Hearing

Polski PL

Zobaczyć dzięki dźwiękom: jedyny w swoim rodzaju system audiowizualny dla osób słabowidzących

EyeSynth wykorzystuje krajobrazy dźwiękowe oraz interpretacyjną moc mózgu, aby pomóc osobom słabowidzącym lepiej zrozumieć otaczające ich środowisko i to w sposób bardziej szczegółowy niż kiedykolwiek wcześniej.

ZDROWIE

© EyeSynth

Światowa Organizacja Zdrowia szacuje, że na całym świecie żyje 285 milionów osób słabowidzących, a liczba ta gwałtownie wzrasta na skutek starzenia się populacji i rozwoju chorób upośledzających wzrok, takich jak cukrzyca typu 2. Ponieważ nie potrafimy wyleczyć zaburzeń widzenia, osoby słabowidzące polegają na urządzeniach wspomagających, takich jak laski lub psy przewodnicy. Jednak, mimo że metody te pozwalają osobom słabowidzącym unikać przeszkód, nie pomagają im lepiej zrozumieć ich otoczenia. Wspierany przez UE projekt EyeSynth zaowocował opracowaniem audiowizualnego systemu dla osób słabowidzących. Składa się on z okularów mających wbudowane kamery, które nagrywają otoczenie w trójwymiarze. Przez połączenie z mikrokomputerem zgromadzone dane są konwertowane na abstrakcyjne dźwięki przekazujące informacje przestrzenne. Radykalnie odmienne rozwiązanie Punktem wyjściowym systemu EyeSynth nie była technologia, lecz mózg. „Nasz system nie opisuje środowiska słowami. Dostarczamy surowych informacji przestrzennych, a mózg użytkownika je sobie dekoduje. Aby opracować ten przyjazny dla użytkownika i skuteczny interfejs, niezbędna była współpraca z naszymi testerami”, mówi koordynator projektu, Antonio Quesada. Zespół przeprowadził wiele testów, dzięki którym możliwa była kalibracja algorytmu w oparciu o informację zwrotną od użytkowników, dopóki nie byli oni w stanie zidentyfikować kształtów i przestrzeni oraz ocenić głębokość i dokładnie zlokalizować przedmioty. „System z założenia ma być intuicyjny. Przeciętnie użytkownik oswaja go od 45 minut do 1,5 godziny, a po tym czasie jest w stanie rozróżnić proste przedmioty lub poruszać się po biurze, unikając przeszkód”, mówi Quesada. System składa się z dwóch głównych elementów: okularów oraz jednostki przetwarzającej obraz (małego, zasilanego wewnętrzną baterią komputera w rozmiarze smartfona). Można także podłączyć standardowy powerbank USB. W rezultacie powstają lekkie okulary umożliwiające swobodne poruszanie się. Urządzenie oferuje dwa tryby przetwarzania obrazu w wysokiej jakości (60 klatek na sekundę). W trybie badania (Tracking Mode) analizowana jest tylko „centralna kolumna” w polu widzenia, a użytkownik bada obszar na prawo i lewo, podobnie jak podczas używania białej laski. W pełnym trybie panoramicznym (Full Panoramic Mode) cały krajobraz zostaje przedstawiony jednocześnie, dostarczając o wiele więcej informacji dźwiękowych i czyniąc badanie otoczenia zbędnym. W oparciu o codzienne potrzeby oba tryby umożliwiają dostosowanie analizowanej odległości w zakresie 0,8-6 m. Co ważne, zakres ten dobrze sprawdza się na potrzeby wykrywania przeszkód na ulicy. Trójwymiarowe dane przesyłane są w czasie rzeczywistym jako akustyczne odzwierciedlenie otoczenia, podobnie jak dźwięki oceanu, a ich kompozycja i tembr odpowiadają nagrywanym kształtom. Dźwięki te są przesyłane bezpośrednio przez kości czaszki, więc uszy mogą swobodnie słuchać. „Zdecydowaliśmy się odejść od używania języka mówionego, po części dlatego, że trudno opisać różne zjawiska słowami i mogłoby to rozpraszać użytkowników, a my musielibyśmy przygotować różne wersje językowe”, mówi Quesada. Testy pierwotnie obejmowały użytkowników niewidomych, dlatego, aby pracować z osobami słabowidzącymi, zespół przeprowadzał badanie medyczne we współpracy ze specjalistami z dziedziny okulistyki ze szpitala Provincial Hospital of Castellón w Hiszpanii. Uzyskane dotąd wyniki są zachęcające. Technologia daje moc System EyeSynth poszerza autonomię i podnosi niezależność osób słabowidzących, pomagając użytkownikowi poruszanie się w nieznanej lokalizacji. Dzięki niemu osoby takie unikają problemów i wypadków związanych z barierami fizycznymi. Celem zespołu projektowego jest wypuszczenie na rynek pierwszej partii produktu jeszcze tego lata. „Będziemy nadal doskonalić system i dodawać nowe funkcje, takie jak teksty i rozpoznawanie twarzy”, mówi Quesada. „Będziemy nieustająco wsłuchiwać się w głos użytkowników, aby nasza technologia w dalszym ciągu zwiększała ich autonomię i stwarzała możliwości do nauki, podejmowania pracy, spędzania czasu wolnego i, w ogólnym ujęciu, zmieniała ich życie na lepsze”.

Słowa kluczowe

EyeSynth, niewidomi, wada wzroku, kamery, akustyczne, dźwiękowe, sonar, 3D, dźwięki, okulary, smartfon

Informacje na temat projektu

Identyfikator umowy o grant: 757202

  • Data rozpoczęcia

    1 Lutego 2017

  • Data zakończenia

    31 Stycznia 2019

Finansowanie w ramach:

H2020-EU.2.1.1.

H2020-EU.2.3.1.

  • Całkowity budżet:

    € 1 478 950

  • Wkład UE

    € 1 035 265

Koordynowany przez:

EYESYNTH SL

Ten projekt został przedstawiony w…