Gemeinsame Forschungen zur Videoqualität zwischen der EU und China
HD-Videos werden immer populärer, gleichzeitig stellen sie hinsichtlich Kompression und Speicherung immer noch eine Herausforderung dar. Während derzeitige Algorithmen für Raum-Zeit-Salienz helfen, HD-Videos effizienter zu verarbeiten, gibt es in dieser Hinsicht viel Raum für Verbesserungen, vor allem wenn die Videos visuell sehr kompliziert sind. Das EU-finanzierte Projekt SHIVPRO(öffnet in neuem Fenster) (Saliency-aware high-resolution video processing) führte chinesische und europäische Wissenschaftler aus diesem Bereich zusammen, um Salienz-Modelle zu verbessern. Anhand von Videos mit komplizierten Bewegungen untersuchte das Team relevante Anwendungen und Technologien wie Video-Retargeting, saliente Objekterkennung, Salienz-Aggregation und Vorhersage des visuellen Abtastweges. Dies führte zu verschiedenen neuen Möglichkeiten für salienzbewusste Anwendungen, einschließlich der Salienz-Manipulation in Bildern, Kameraautofokus und Szenenverständnis. Zu den wichtigsten Ergebnissen des Projekts gehört die Entwicklung eines neuen Raum-Zeit-Salienz-Modells basierend auf Superpixel-Level-Bahnen, das die Performance der Salienz-Erkennung in anspruchsvollen Videos verstärken kann. Außerdem wurde ein qualitätsgerichteter Fusionsansatz vorgeschlagen, um die zeitliche Salienzenkarte auf Pixel-Level mit der räumlichen Salienzenkarte auf Pixel-Level zu vereinen, was letztlich aktuelle Raum-Zeit-Salienz-Modelle in Bezug auf die Salienz-Erkennung übertraf. Das Team verbesserte auch die Retargeting-Leistung mithilfe eines effektiveren Objekterkennungsverfahrens auf Basis der Raum-Zeit-Salienz, das die Salienz innerhalb des Erfassungsfensters maximiert. Dazu gehören auch vereinte Zuschneide- und Skalierungsoperationen basierend auf den erfassten Raum-Zeit-Salienz-Objektbereichen, um das Video nach dem Retargeting effizienter erzeugen zu können. Ein weiteres erfolgreiches Projektergebnis umfasst einen neuen Rahmen für die Vorhersage visueller Abtastwege von Beobachtern beim Betrachten einer visuellen Szene, um bessere Salienz-Modelle zu erstellen. Insgesamt können die Ergebnisse sehr nützlich für kritische Anwendungen sein, die qualitativ hochwertige Salienzenkarten erfordern. All diese positiven Projektergebnisse wurden in einschlägigen Zeitschriften und Zeitungen sowie im Internet veröffentlicht. Neben der Verbesserung der Verarbeitung von HD-Videos führte dieses Projekt zu neuen Initiativen der Zusammenarbeit in diesem Bereich zwischen China und der EU.
Schlüsselbegriffe
High-Definition-Video, Raum-Zeit-Salienz, SHIVPRO, Salienzbewusstsein, Videoverarbeitung, Abtastweg
