Nowe narzędzia do ulepszenia postprodukcji filmów
Retusz, czyli proces rekonstrukcji lub edycji filmów, to cenne narzędzie w postprodukcji wideo, zwłaszcza w ciągle rozwijającej się dziedzinie filmu cyfrowego. W ramach finansowanego ze środków UE projektu INPAINTING (Inpainting Tools for Video Post-production: Variational theory and fast algorithms) pracowano nad ulepszeniem procesu usuwania obiektów ze sceny w filmie. Celem było zastąpienie ręcznego i czasochłonnego procesu bardziej zautomatyzowaną technologią. To zamierzenie wymaga zaawansowanej estymacji głębi, estymacji ruchu, retuszu obrazu oraz propagacji obrazu w filmie. Aby osiągnąć ten cel, zespół badał nowe struktury i modele matematyczne w celu stworzenia odpowiednich algorytmów komputerowych. Analizując podobieństwa w obliczeniach pomiędzy obszarami obrazów z uwzględnieniem ich rozmiaru i kształtu, zespół stworzył teoretyczne ramy do analizy podobieństw w różnych skalach. Następnie określono nowy wskaźnik kowariancji afinicznej, który określa kształt danego obszaru, biorąc również pod uwagę strukturę obrazu. W projekcie INPAINTING następnie zastosowano go do wypełniania obszaru obrazu z brakującymi danymi (np. w przypadku usuwania obiektu). Zaawansowane algorytmy zastosowano do skopiowania elementów znanej części obrazu i spójnego ich złożenia w celu pokrycia nieznanego obszaru. Kolejne wyzwanie dotyczyło modyfikacji tekstury obiektu na filmie, np. dodanie logo lub ukrycie znacznika. Aby mu sprostać, edytowana była tylko pojedyncza klatka, a następnie efekt był spójnie propagowany w całym filmie. Zespół opracował również ciągły model oraz metody numeryczne, które umożliwiają propagację obrazów bez ograniczeń ruchu, co ułatwia również obsługę okluzji i problemów oświetleniem. Dążąc do zwiększenia przepływu optycznego podczas stosowania retuszu, zespół opracował algorytmy redukujące czas obliczeń i zwiększające ruchy obrotowe, co wygładza obraz, zwiększa dokładność i daje bardziej realistyczny efekt. Na innym froncie zespół projektowy pracował nad poprawieniem obrazu głębi w celu uproszczenia postprodukcji materiału filmowego i ułatwienia produkcji treści 3D. Opracowano sposób zwiększenia rozdzielczości mapy głębi przy użyciu obrazu kolorowego jako pomocy, a także ulepszenia względnej estymacji głębi z pojedynczego obrazu. Jeśli te udoskonalone rozwiązania zostaną skomercjalizowane, mogą przynieść istotne korzyści edycji filmów cyfrowych, od usuwania niepotrzebnych informacji po poprawę jakości materiałów nagranych na starym filmie.
