Ulepszone przetwarzanie treści multimedialnych
Pojęcie istotności wizualnej staje się coraz ważniejsze przy komputerowym przetwarzaniu obrazów i filmów o wysokiej rozdzielczości. Jednym z ograniczeń obecnie związanych z materiałami wideo o ultrawysokiej rozdzielczości jest ogromna ilość i złożoność danych obrazu. Wsparcie UE dla projektu "Saliency-aware high-resolution video processing" (SHIVPRO) umożliwiło opracowanie pilnie potrzebnych ulepszonych modeli istotności. Aby zmierzyć się z problemem złożoności obrazów wieloskalowych, w modelu czasowo-przestrzennym projektu zastosowano funkcje działające na poziomie regionów i miary statystyczne do modyfikowania istotności w wybranej skali. Modyfikacja jest następnie propagowana z wykorzystaniem kierowanego istotnością scalania regionów z elastycznym uwzględnianiem informacji wysokiego poziomu. Pierwszym krokiem było opracowanie modelu istotności na poziomie regionów wykorzystującego histogramy podobieństw barw i położenia oraz stworzenie dwóch miar takich histogramów: rozróżnialności i zwartości. Następnie zajęto się wykrywaniem odpowiednich cech istotnych na podstawie modelu istotności. Naukowcy zaproponowali nowatorską koncepcję w postaci drzewa istotności. Obraz jest upraszczany w celu uzyskania regionów pierwotnych, dla których wartości miar istotności są porównywane w wartościami globalnymi. W procesie scalania regionów generowane jest drzewo, w którym liście reprezentują regiony pierwotne, a pozostałe węzły regiony niepierwotne. Na podstawie systematycznej analizy istotności tworzona jest następnie wysokiej jakości pikselowa mapa istotności. Wykorzystując te modele, badacze stworzyli wydajny model czasowo-przestrzenny istotności na poziomie superpikseli. Z danych superpikseli wyodrębniane są histogramy ruchu i barw. Generowane są mapy istotności przestrzennej i czasowej na poziomie pikseli, które następnie są scalane metodą adaptacyjną. Opracowany model wykazał większą skuteczność wykrywania istotności i przewidywania przyciągania wzroku od najlepszych dotychczasowych rozwiązań w tej dziedzinie. Badacze zajęli się też nową tematyką wykrywania współistotności, czyli identyfikowania obecności tych samych obiektów istotnych na wielu obrazach, proponując do tego zastosowania modele współistotności oparte na segmentacji hierarchicznej. Wykonane prace wniosły znaczny wkład w rozwój dziedziny wydajnego kodowania wideo, umożliwiając zwiększenie wydajności kodowania przy mniejszej złożoności obliczeniowej. Zdolność wyodrębniania subiektywnie istotnych elementów ma duże znaczenie socjoekonomiczne, gdyż może uprościć przetwarzanie ogromnych zestawów danych wideo w zastosowaniach biznesowych, domowych i mobilnych. Naukowcy korzystający z dofinansowania UE w istotny sposób ulepszyli metody modelowania i wykrywania istotności, tworząc rozwiązania przewyższające skutecznością najlepsze dotychczasowe podejścia.
Słowa kluczowe
Przetwarzanie multimediów, istotność, wysoka rozdzielczość, treści wideo, czasowo-przestrzenny
