Ulepszanie jakości wideo dzięki współpracy europejsko-chińskiej
Pomimo rosnącej popularności materiałów wideo w jakości HD kompresja i przechowywanie takich danych nadal stanowi poważne wyzwanie techniczne. Choć istniejące algorytmy istotności czasowo-przestrzennej już pozwalają uzyskać większą wydajność przetwarzania wideo HD, można jeszcze wiele ulepszyć, szczególnie w przypadku materiałów bardzo złożonych wizualnie. Dążąc do ulepszania modeli istotności, chińscy i europejscy eksperci akademiccy w tej dziedzinie połączyli siły w ramach finansowanego ze środków UE projektu SHIVPRO(odnośnik otworzy się w nowym oknie) (Saliency-aware high-resolution video processing). Na podstawie analiz materiałów wideo przedstawiających złożone ruchy badacze przyjrzeli się wybranym zastosowaniom i technologiom, takim jak reformatowanie wideo, wykrywanie istotnych obiektów, agregacja istotności i prognozowania ścieżki skanowania obrazu przez oko. Otwiera to kilka nowych możliwości w zastosowaniach wymagających uwzględniania istotności, na przykład modyfikowaniu istotności w obrazach, automatycznym ustawianiu ostrości w aparatach i kamerach oraz rozumieniu zawartości kadru. Jednym w ważniejszych wyników było opracowanie nowego modelu istotności czasowo-przestrzennej opartego na trajektoriach wyliczanych na poziomie superpikseli, umożliwiającego zwiększenie wydajności wykrywania istotności w trudnych materiałach wideo. Zaproponowano też hybrydowe podejście podporządkowane jakości mające na celu zintegrowanie map istotności czasowej i przestrzennej na poziomie pikseli, pozwalające docelowo uzyskać wydajność wykrywania istotności przekraczającą najlepsze znane obecnie modele istotności czasowo-przestrzennej. Udało się również zwiększyć wydajność reformatowania wideo poprzez zastosowanie bardziej efektywnej metody wykrywania istotności czasowo-przestrzennej obiektów pozwalającej maksymalizować istotność w ustalonym przedziale wykrywania. Dla zwiększenia wydajności reformatowania stosowane są również połączone operacje przycinania i skalowania na podstawie wykrytych regionów istotności czasowo-przestrzennej obiektów. Innym ważnym osiągnięciem projektu była nowa platforma przewidywania ścieżek skanowania obrazu przez oczy osób oglądających określoną scenę, która pozwoli tworzyć lepsze modele istotności. Wyniki projektu mogą być bardzo cenne w kluczowych zastosowaniach wymagających wysokiej jakości map istotności. Wypracowane wnioski opublikowano w pismach branżowych, artykułach i witrynach internetowych. Poza samym usprawnieniem przetwarzania materiałów wideo w jakości HD prace projektu pozwoliły utworzyć w badanej dziedzinie nowe inicjatywy współpracy między Chinami i UE.
Słowa kluczowe
Wideo o wysokiej rozdzielczości, istotność czasowo-przestrzenna, SHIVPRO, świadomość istotności, przetwarzanie wideo, ścieżka ruchu oczu
