Verbesserte Multimediaverarbeitung
Visuelle Salienz ist von wachsender Bedeutung für die Computerverarbeitung von hochauflösenden Bildern und Videos. Eine der aktuellen Einschränkungen im Zusammenhang mit ultra-hochauflösenden Videos ist der enorme Umfang und die Komplexität der entsprechenden Daten. Die EU unterstützte das Projekt "Saliency-aware high-resolution video processing" (SHIVPRO), um dringend benötigte bessere Salienzmodelle zu entwickeln. Um das Problem komplexer Mehrstufenbilder anzugehen, nutzte das raumzeitliche Modell des Projekts bereichsbasierte Funktionen und statistische Messungen der Salienz, um sie in einem bestimmten Umfang zu modifizieren. Diese Modifizierung wird mit salienzgerichteter Bereichsverschmelzung auf die verschiedenen Stufen mit der flexiblen Berücksichtigung von Top-down-Informationen übertragen. Der erste Schritt bestand in der Entwicklung eines bereichsbasierten Salienzmodells mithilfe von Histogrammen von Farbraumähnlichkeiten und zwei Faktoren dieser Histogramme - Unterscheidungskraft und Kompaktheit. Als nächstes stellte man wesentliche Merkmale auf Basis des Salienzmodells fest. Die Wissenschaftler schlugen ein neuartiges Konzept vor: den Salienzbaum. Das Bild wird vereinfacht, um einfache Bereiche zu erstellen, deren Salienzmaße mit den globalen verglichen werden. Eine Bereich verschmelzender Ansatz erzeugt den Baum, in dem jeder Blattknoten einen einfachen Bereich und jeder Nicht-Blattknoten einen nicht-einfachen Bereich darstellt. Eine systematische Salienzanalyse führt zu einer hochwertigen Salienzenkarte nach Pixeln. Auf der Grundlage der oben genannten Modelle entwickelte das Team ihr effizientes superpixel-basiertes raumzeitliches Salienzmodell. Bewegung und Farbe Histogramme werden aus den Superpixeldaten extrahiert. Eine räumliche Salienzkarte auf Pixel-Ebene und eine ähnliche Zeitkarte werden generiert und mittels eines adaptiven Fusionsverfahrens zusammengeführt. Das Modell zeigte im Verglich zum derzeitigen Stand der Technik eine überlegene Leistung bei der Salienzerkennung und der Vorhersage der menschlichen Fixierung. Das Team untersuchte auch das aufkommende Thema des Erkennens von Co-Salienz oder de Identifizierung gemeinsamer hervorstechender Objekte in einer Reihe von Bildern und schlug hierfür Co-Salienz-Modelle auf der Basis von hierarchischer Segmentierung vor. Wichtige Bemühungen brachten den Stand der Technik für hocheffiziente Videocodierung mit verbesserter Codierungseffizienz und reduziertem Rechenaufwand voran. Die Fähigkeit, subjektiv wichtige Merkmale zu extrahieren, um die Verarbeitung von großen Datenmengen für Unternehmen, Hobbyfilmer und mobile Videoanwendungen zu vereinfachen, ist von zentraler sozioökonomischer Bedeutung. EU-finanzierte Wissenschaftler leisteten einen wichtigen Beitrag zu Verbesserungen der Salienzmodellierung und -erkennung und konnten damit den aktuellen Stand der Technik übertreffen.
Schlüsselbegriffe
Multimediaverarbeitung, Salienz, hochauflösend, Videoinhalte, raumzeitlich
