SCENENET: Odtwarzanie przeszłych wydarzeń w trójwymiarowej formie dzięki filmom rejestrowanym na urządzeniach przenośnych
Czy kiedykolwiek pragnęliście Państwo po udanym koncercie rockowym przeżyć go jeszcze raz, równie, lub nawet bardziej, intensywnie? Niewykluczone, że już wkrótce będzie to możliwe, dzięki finansowanemu prze UE projektowi badawczemu SCENENET , którego uczestnicy opracowują technologię pozwalającą łączyć nagrania zrealizowane przez publiczność zgromadzoną wokół sceny lub na stadionie, w celu odtworzenia danego wydarzenia w 3D. Chen oraz Nizan Sagiv wpadli na powyższy pomysł po koncercie zespołu Depeche Mode w Tel Awiwie, który odbył się pięć lat temu. "Podczas gdy ja byłam pochłonięta koncertem, Nizan obserwował publiczność", tłumaczy Chen, koordynator projektu SCENENET. "Nizan zwrócił uwagę na ogromną ilość słabego światła, emitowaną przez ekrany telefonów. Ludzie nagrywali koncert. Nizan uznał, że połączenie ze sobą filmów nakręconych przez poszczególnych widzów w synergiczny, wzbogacony, a być może nawet trójwymiarowy obraz stanowi ciekawy pomysł. Przez wiele miesięcy rozmawialiśmy o tej idei, jednak wydawała nam się zbyt futurystyczna, ryzykowna i skomplikowana". Współpraca izraelsko-europejska Naukowcy postanowili zasięgnąć porady w ISERD, czyli w izraelsko-europejskim dyrektoracie ds. i rozwoju , a także skontaktowali się z prof. Peterem Maassem, pracownikiem Uniwersytetu w Bremie (Niemcy) oraz z prof. Pierrem Vandergheynstem, pracownikiem Ecole Polytechnique Fédérale (EPFL) w Lozannie (Szwajcaria), z którym Chen współpracowała wcześniej w ramach realizowanego pod egidą 7-go Programu Ramowego projektu UNLOCX . Efektem powyższych działań jest projekt SCENENET, który uzyskał wsparcie w kwocie 1,3 mln euro ze strony Komisji Europejskiej. Koordynatorem projektu jest Chen, a także kierowana przez Nizana, zlokalizowana w mieście Ra'anana, firma SagivTech, specjalizująca się w wizji komputerowej i przetwarzaniu równoległym. Projekt SCENENET, finansowany, podobnie jak miało to miejsce w przypadku inicjatywy UNLOCK, w ramach tematyki Przyszłe i Powstające Technologie (Future and Emerging Technologies - FET) , zakończy się w styczniu 2016 roku i obejmuje czterech partnerów europejskich: Uniwersytet w Bremie, niemiecką organizację Steinbeis Innovation, European Research Services a także szwajcarską EPFL. W pierwszym roku prac projektowych uczestnicy inicjatywy stworzyli infrastrukturę mobilną, pozwalającą gromadzić filmy wideo, oznaczać je oraz przesyłać na serwery pracujące w chmurze. Badacze opracowali ponadto podstawowe narzędzia stanowiące interfejs człowiek-maszyna, które pozwalają użytkownikom oglądać filmy 3D z dowolnego miejsca "w obrębie stadionu", a także edytować je. Naukowcy wierzą, że powyższe rozwiązania pomogą stworzyć społeczności internetowe, które będą się dzielić materiałami, co pozwoli odtworzyć w formie wirtualnej całe koncerty. Uwzględniając powyższy kontekst uczestnicy projektu planują w ciągu dwóch najbliższych lat zbadać wyzwania z zakresu piractwa I własności intelektualnej. "Pod koniec pierwszego roku prac projektowych, czyli wcześniej, niż zakładaliśmy, stworzyliśmy techniczne podwaliny rozwiązania SCENENET, bazujące na najnowocześniejszych komponentach", twierdzi Chen. Rzeczywiście, wydajne algorytmy z zakresu wizji komputerowej, opracowane w ramach projektu, z myślą o urządzeniach mobilnych, są pionierskie na skalę światową I są bacznie obserwowane przez producentów mikroukładów. Projekt SCENENET wiązał się także z szeregiem wyzwań technologicznych, takich jak: wstępne przetwarzania w obrębie urządzenia mobilnego, wymagające ogromnej mocy obliczeniowej, wydajne przesyłanie strumieni wideo, a także opracowanie dokładnej I szybkiej metody rejestrowania strumieni wideo I rekonstrukcji 3D. Wszystkie powyższe mechanizmy powinny pracować w trybie możliwie najbardziej zbliżonym do czasu rzeczywistego. "Uważamy, że poszczególne komponenty tworzące system SCENENET, takie jak mechanizm rejestrowania obrazów I odtwarzania ich w 3D, posiadają ogromy potencjał w kontekście przetwarzania mobilnego I przetwarzania w chmurze, dlatego projekt SCENENET stanowi ogromny przełom technologiczny - zarówno jako całość, jak I na poziomie poszczególnych komponentów", dodaje Chen. Więcej niż koncepcje Wraz z postępem prac projektowych pojawia się coraz więcej potencjalnych zastosowań technologii SCENENET. Jeśli prawo I kwestie wyzwania z piractwem na to pozwolą, to powyższe technologie być może umożliwią odtwarzanie w trójwymiarze nie tylko koncertów, ale także wiadomości, czy też wydarzeń sportowych, lub znajdą zastosowanie w turystyce I monitoringu. Partnerzy projektu badają ponadto możliwość filmowania statycznych I ruchomych obiektów z różnych kątów, w celu stworzenia zestawów instrukcji, które będą następnie mogły być przesyłane do drukarek 3D. Z kolei model powiązania urządzeń mobilnych z serwerami zlokalizowanymi w chmurze mógłby się sprawdzić w przypadku innych aplikacji, twierdzą naukowcy. Jednak w chwili obecnej badacze skupiają się na fanach muzyki. "Projekt SCENENET dotyczy przede wszystkim przenośnych kamer I trójwymiarowych obrazów. Powszechność kamer umieszczonych w urządzeniach przenośnych oraz coraz lepsza jakość rejestrowanych przez nie obrazów oznaczają, że mamy do czynienia z ogromną ilością filmów, które ich autorzy chcą ulepszyć I którymi chcą się chwalić. Co więcej, obecnie opracowuje się coraz więcej urządzeń potrafiących "rozumieć" bodźce wizualne, takich jak Google Glass. Większość tego rodzaju prac bazuje na przetwarzaniu obrazów oraz na wizji komputerowej. Obrazy trójwymiarowe stają się coraz ważniejszym elementem wizualizacji, a jednocześnie coraz łatwiej je analizować", tłumaczy koordynator projektu. Inicjatywa SCENENET stanowi doskonały przykład współpracy pomiędzy UE I Izraelem. Około 1 600 izraelskich naukowców czerpało korzyści z udziału w 7-mym Programie Ramowym, uczestnicząc w około 800 projektach, wspartych przez Komisję Europejską kwotą 634 milionów euro. Projekty te obejmowały różnorakie dziedziny, począwszy od TIK, aż po nanotechnologię, energię oraz zdrowie. "Projekty te pozwalają nam stać się częścią europejskiej społeczności naukowej I przemysłowej oraz podjąć współpracę z wiodącymi partnerami akademickimi I przemysłowymi w Europie", podsumowuje Chen. Projekt SCENENET uzyskał wsparcie finansowe w ramach Siódmego Programu Ramowego UE (7PR). Hiperłącza do projektu w serwisie CORDIS: - 7PR w serwisie CORDIS - informacje na temat projektu SCENENET w serwisie CORDIS Hiperłącze do strony internetowej projektu: - strona internetowa projektu "SCENENET" Inne hiperłącza: - strona internetowa Komisji Europejskiej poświęcona agendzie cyfrowej - «Uncertainty principles versus localization properties» - HORIZON 2020 - Future and Emerging Technologies