Skip to main content
Vai all'homepage della Commissione europea (si apre in una nuova finestra)
italiano it
CORDIS - Risultati della ricerca dell’UE
CORDIS

Brain-inspired Intelligence for Semantic Video Compression

Descrizione del progetto

L’apprendimento automatico per potenziare la compressione video

Sebbene la compressione video sia essenziale per tutte le piattaforme di streaming video su Internet, la comunità di professionisti attivi nell’elaborazione del segnale non ha ancora affrontato in modo esaustivo le sfide legate alla complessità e al consumo di energia dei più recenti standard relativi a tale operazione. Sostenuto dal programma di azioni Marie Skłodowska-Curie, il progetto BrainCode svilupperà tecniche di compressione ad alta efficienza energetica per i dati della realtà estesa (XR, extended reality). Il progetto applicherà architetture basate sull’apprendimento automatico per creare un algoritmo di compressione video semantico che impiega reti neurali convoluzionali con l’obiettivo di imitare i meccanismi intelligenti del sistema visivo per l’elaborazione degli stimoli visivi, nonché di sfruttare i modelli delle neuroscienze allo scopo di progettare un’architettura di compressione video XR all’avanguardia. I risultati offerti da BrainCode potrebbero migliorare diverse applicazioni di elaborazione delle immagini per cui l’elaborazione in tempo reale delle scene visive costituisce un aspetto fondamentale.

Obiettivo

The BrainCode project proposes novel compression techniques for extended reality (XR) data which are energy efficient while ensuring a reconstruction quality that satisfies the human visual semantic perception. There are several challenges concerning the complexity and the power consumption of the latest video compression standards which have not yet taken into account by the signal processing community.
We propose that these challenges can be addressed by machine learning based architectures in order to avoid the exhaustive
comparisons between sequential frames. We aim at releasing a semantic video compression algorithm that uses Convolutional Neural
Networks (CNNs) and drives the bit allocation with respect to the content of the visual scene. Another goal of BrainCode is to mimic
the visual system as an intelligent mechanism that processes the visual stimulus. This can be claimed as it consumes low power, it
deals with high resolution dynamic signals and the dynamic way it transforms and encodes the visual stimulus is beyond the current
compression standards. During the last decades, a lot of effort has been made to understand how the visual system works, what is the
structure and role of each layer and individual cell that lies along the visual pathway, and how the huge visual information is
propagated and compacted through the nerve cells before it reaches the visual cortex. There are very interesting mathematical
models which approximate the neural behaviour and they have been widely used for image processing applications including
compression. The BrainCode project searches the latest neuroscience models for the design of a groundbreaking XR video compression
architecture. The efficiency of the above approaches is expected to improve several image processing applications like computer
vision, virtual reality, and video compression among other, where the real-time processing of the visual scene plays a substantial role.

Campo scientifico (EuroSciVoc)

Parole chiave

Programma(i)

Argomento(i)

Meccanismo di finanziamento

HORIZON-TMA-MSCA-PF-GF - HORIZON TMA MSCA Postdoctoral Fellowships - Global Fellowships

Vedi tutti i progetti finanziati nell’ambito di questo schema di finanziamento

Invito a presentare proposte

(si apre in una nuova finestra) HORIZON-MSCA-2023-PF-01

Vedi tutti i progetti finanziati nell’ambito del bando

Coordinatore

IDRYMA TECHNOLOGIAS KAI EREVNAS
Contributo netto dell'UE
€ 279 227,52
Indirizzo
N PLASTIRA STR 100
700 13 IRAKLEIO
Grecia
Regione
Νησιά Αιγαίου Κρήτη Ηράκλειο
Tipo di attività
Research Organisations
Collegamenti
Costo totale
Nessun dato

Partner (1)