Forschungs- & Entwicklungsinformationsdienst der Gemeinschaft - CORDIS

ERC

INPAINTING — Ergebnis in Kürze

Project ID: 319899
Gefördert unter: FP7-IDEAS-ERC
Land: Spanien

Neue Tools für eine besser Video-Postproduktion

Eine Reihe neuer Berechnungsalgorithmen erleichtert die Postproduktion von Videos und hilft dabei, Inpainting-Techniken zu verbessern.
Neue Tools für eine besser Video-Postproduktion
Das Inpainting, also der Prozess der Rekonstruktion oder der Veränderung von Videos, ist ein wertvolles Werkzeug bei der Video-Postproduktion, vor allem in unserer sich ständig weiterentwickelnden digitalen Welt. Das EU-finanzierte Projekt INPAINTING (Inpainting Tools for Video Post-production: Variational theory and fast algorithms) befasste sich mit der Frage, wie das Entfernen eines Objekts aus einer Szene in einem Video verbessert werden kann. Dafür sollte dieser manuelle und zeitraubende Prozess durch eine automatisiertere Technologie ersetzt werden. Für diese Bemühung wird eine verbesserte Tiefenschätzung, Bewegungsschätzung, Bild-Inpainting und Bildausbreitung im Video erfordert.

Um dies zu erreichen, untersuchte das Projektteam neue mathematische Modelle und Frameworks, um die erforderlichen Computer-Algorithmen zu entwickeln. Mit Blick auf die Berechnung von Ähnlichkeiten zwischen Bildbereichen mit Fokus auf ihre Größe und Form erarbeitete das Team einen theoretischen Rahmen, der Ähnlichkeiten mit unterschiedlichen Maßstäben analysieren kann. Dann skizzierte es eine neue "affine covariant-Metrik", mit der die Form des betreffenden Bereichs spezifiziert wird, wobei auch die Bildstruktur berücksichtigt wird.

Daraufhin wandte INPAINTING diese an, um einen Bereich in dem Bild mit fehlenden Informationen (z.B. im Fall der Objektentfernung) zu füllen. Die fortschrittlichen Algorithmen wurden verwendet, um Stücke des bekannten Teils des Bildes zu kopieren und sie kohärent zusammenzusetzen, um den unbekannten Bereich zu füllen.

Eine weitere Herausforderung des Projekts umfasste die Veränderung der Textur eines Objekts in einem Video, etwas für das Hinzufügen eines Logos oder des Versteckens einer Markierung. Hierfür bearbeiteten die Forscher nur einen Frame und übertrugen diesen Effekt dann automatisch und nahtlos auf das gesamte Video. Das Team entwickelte auch ein kontinuierliches Modell und numerische Methoden, die eine Bildausbreitung ohne Bewegungseinschränkungen ermöglichen und darüber hinaus die Handhabung von Verdeckungen und Beleuchtungsproblemen zu erleichtern. Um den optischen Flusses nach der Anwendung von Inpainting zu verbessern, entwickelte das Team Algorithmen, die die Rechenzeit verringern und Drehbewegungen verbessern, was die Glätte, Genauigkeit und eine realistischere Wirkung verstärkt.

An einer anderen Front arbeitete das Projektteam daran, die Tiefenabbildung zu verbessern, um die Postproduktion von Videomaterial zu vereinfachen und die Produktion von 3D-Inhalten zu erleichtern. Es entwickelte eine Möglichkeit, die Auflösung der Tiefenkarte mit dem Farbbild als Führung zu erhöhen und die relative Tiefenschätzung aus einem einzigen Bild zu verbessern. Wenn diese Erweiterungen kommerzialisiert werden, könnte die digitale Videobearbeitung erheblich profitieren, vom Entfernen unnötiger Informationen bis hin zur Verbesserung der Qualität von alten Filmen.
 

Verwandte Informationen

Schlüsselwörter

Video, Postproduktion, Inpainting, Bildausbreitung, affine covariant
Folgen Sie uns auf: RSS Facebook Twitter YouTube Verwaltet vom Amt für Veröffentlichungen der EU Nach oben