Nowa technologia pozwala na przesyłanie strumieniowe wideo o wysokiej jakości przy wykorzystaniu znacznie mniejszej ilości danych
Strumieniowe przesyłanie wideo przez internet, zarówno w formie wideo na żądanie w przypadku istniejących treści, jak i strumieniowej transmisji na żywo wydarzeń, to prężnie rozwijająca się branża. Pomimo tego streaming o wysokiej jakości nie jest powszechnie dostępny(odnośnik otworzy się w nowym oknie), ponieważ część użytkowników nie ma wystarczająco szybkiego internetu. Innym problemem są zaporowe ceny internetu mobilnego – według jednego z badań(odnośnik otworzy się w nowym oknie) są one na tyle wysokie, że prawie 50 % użytkowników z dostępem do sieci 4G nie korzysta z internetu na smartfonach. Uczestnicy wspieranego przez UE projektu ENHANCEplayer postawili sobie za cel zmniejszenie obciążenia infrastruktury przez przesyłanie przez internet filmów wideo o niższej rozdzielczości i przy mniejszej przepływności oraz zwiększanie ich jakości dopiero po odebraniu przez odtwarzacz. „O ile tradycyjne podejścia polegają na zwiększaniu wydajności kodowania wideo, co oznacza ryzyko braku kompatybilności ze starszym sprzętem, my wychodzimy od jakości postrzeganej przez widza, a nie od parametrów technicznych”, wyjaśnia Ely Loew, koordynator projektu.
Wykorzystanie sieci neuronowych
Członkowie konsorcjum projektu, firmy Artomatix(odnośnik otworzy się w nowym oknie) oraz THEO Technologies(odnośnik otworzy się w nowym oknie), udostępnili swoją infrastrukturę techniczną w celu opracowania prototypowego rozwiązania. Punktem wyjścia dla badaczy skupionych wokół projektu ENHANCEplayer było założenie, że minimalna rozdzielczość wideo potrzebna nadawcom wynosi 540 p(odnośnik otworzy się w nowym oknie) w przypadku urządzeń mobilnych. Specjaliści z firmy Artomatix postawili hipotezę, że ich technologia superrozdzielczości może zostać zoptymalizowana dla różnych urządzeń i okazać się wystarczająco szybka, aby pozwolić na zwiększanie liczby klatek wideo w czasie rzeczywistym do 25–30 klatek na sekundę. Firma THEO Technologies przeprojektowała opracowany przez siebie uniwersalny odtwarzacz wideo, „THEOplayer”, aby dodać do niego moduły zwiększania jakości Artomatix. Opracowany w ten sposób prototyp ENHANCEplayer działa na zasadzie trenowania sieci neuronowej przy pomocy dwóch wersji serii obrazów – źródłowej, np. o rozdzielczości 360 p, i docelowej, np. 720 p. Model dodaje następnie piksele do wersji 360 p, tak aby odpowiadała ona jakości obrazu 720 p. Aby poddać system dalszym testom, uczestnicy projektu stworzyli specjalny model koncepcyjny przeznaczony do obróbki filmów wideo przesyłanych przez partnerskich nadawców – VRT(odnośnik otworzy się w nowym oknie) z Belgii, NPO(odnośnik otworzy się w nowym oknie) z Holandii oraz RTP(odnośnik otworzy się w nowym oknie) (strona w języku portugalskim) z Portugalii. Pierwszym sukcesem było strumieniowe przesłanie wideo w jakości 360 p z rozdzielczością zwiększoną do 540 p na iPhonie 11. „W tamtym momencie nie mieliśmy już wątpliwości, czy technologia jest skuteczna. Nasz entuzjazm jeszcze wzrósł, gdy poznaliśmy wyniki testów transmisji i badań opinii widzów, którzy potwierdzili wyższą jakość wideo”, mówi Loew. Ten przełom był możliwy, ponieważ iPhone 11 jest wyposażony w nowe chipy oparte na sieci neuronowej, na których można uruchomić algorytmy uczenia maszynowego. Układy te są coraz powszechniej stosowane w nowych urządzeniach mobilnych. Mimo że najnowsze telefony z systemem Android także mają układy na bazie sieci neuronowych, ich architektura spowalniała przetwarzanie poszczególnych klatek wideo, przez co model nie był w stanie działać w czasie rzeczywistym. „Z tych względów skuteczność naszej technologii uzależniona jest od sprzętu”, mówi Loew.
Szersze możliwości
Według jednego z badań(odnośnik otworzy się w nowym oknie) wartość globalnego rynku usług Over-the-Top ma wzrosnąć z 81,6 mld USD w 2019 roku do 156,9 mld USD do 2024 roku, przy prognozowanym czterokrotnym wzroście wykorzystania pasma(odnośnik otworzy się w nowym oknie) między 2017 a 2022 rokiem. Przewiduje się, że segment związany ze strumieniową transmisją wideo na żywo wzrośnie piętnastokrotnie. Poprzez zmniejszenie potrzebnej szerokości pasma, rozwiązanie ENHANCEplayer minimalizuje obciążenie infrastruktury komunikacyjnej, jednocześnie obniżając zużycie energii. Zwiększa także dostępność treści wideo w przypadku użytkowników, którzy byli ich pozbawieni z powodów technicznych lub ze względu na wysokie koszty, w tym tych zamieszkujących tereny wiejskie lub kraje rozwijające się. Dodatkowo otwiera ono możliwości przed amatorami w zakresie generowania treści przy użyciu niespecjalistycznego sprzętu. Aktualnie zespół zajmuje się analizą opcji dotyczących możliwości sprzętowych systemu Android oraz funkcją wyświetlania programu w przeglądarce internetowej. Szacujemy, że prace nad infrastrukturą sprzętową i związaną z przeglądarkami, potrzebną do obsługi modeli sieci neuronowych zwiększających rozdzielczość w czasie rzeczywistym, powinny potrwać od 1 do 2 lat”, dodaje Loew. Zespół analizuje też szereg przyszłych możliwych kierunków rozwoju, w tym związanych z integracją modułu zwiększania rozdzielczości z kodekiem wideo lub wykorzystaniem go jako części urządzenia wyświetlającego, takiego jak telewizor bądź częściowym zwiększaniem rozdzielczości w starszych urządzeniach.
