Skip to main content
Ir a la página de inicio de la Comisión Europea (se abrirá en una nueva ventana)
español es
CORDIS - Resultados de investigaciones de la UE
CORDIS

Visual Omniversal Learning from Universal Teachers

Descripción del proyecto

Repensar la inteligencia artificial para la visión por ordenador

La visión por ordenador ha avanzado considerablemente, pero los avances de la inteligencia artificial en el lenguaje siguen a la cabeza. El proyecto Volute, financiado por el Consejo Europeo de Investigación, pretende resolver este problema creando un entrenador omniversal, un modelo universal que genere datos para entrenar sistemas de visión por ordenador específicos para cada tarea. A diferencia de los modelos de fundamentos tradicionales, que tienen dificultades con la gran variedad de entradas y salidas visuales, el entrenador de Volute aprende conocimientos generales sobre el mundo, como la física, la apariencia y la diversidad visual. Los modelos descendentes pueden entrenarse con menos datos específicos de la tarea, lo que reduce el tiempo y el coste del etiquetado. Este método promete un cambio de paradigma en la visión por ordenador, permitiendo un desarrollo más rápido y eficiente para aplicaciones que van desde la conducción autónoma a la robótica y la imagen médica.

Objetivo

"Volute is an ambitious project in the space of Computer Vision and Machine Learning. While these research domains have made tremendous progress in recent years and have contributed to the success of many tech companies, we are still seeing the highest impact of artificial intelligence (AI) in the natural language processing (NLP) space - for example, in products such as ChatGPT or AI-assisted search on Google and Bing.
This success stems from a ""foundation model"" (e.g. GPT) that is then fine-tuned with hand-labelled instructions to become an assistive chatbot. While many models in Computer Vision are named foundation models, none of them have been able to produce the same impact. The main challenge in Computer Vision is the complexity of the input and output space. NLP tasks are text-based; in contrast, the range of representations in computer vision is endless: images, videos, depth, infrared, medical data, satellites, and more. At the same time, the outputs are similarly diverse: images, text, discrete labels, pixel annotations, bounding boxes, 3D reconstruction, audio, and more. These outputs are often not necessarily meant for human consumption but are the inputs for other systems, such as autonomous driving or robotics.
It is thus unrealistic to expect to find an actual foundation model in computer vision. Volute aims to find a new universal model type: an ""omniversal trainer"", which acts as a data generator to train task-specific models. The omniversal trainer uses a generator, trained on large data collections, and thus learns priors about the world, such as physics, appearance, and visual diversity, but does not need specific task knowledge. A downstream-task model can then be trained with limited task-specific data, augmented with the world knowledge of the universal trainer.
This drastically reduces the labelling effort, both in time and cost, for downstream applications and will have a significant impact as it poses a paradigm shift in Computer Vision."

Ámbito científico (EuroSciVoc)

Palabras clave

Programa(s)

Tema(s)

Régimen de financiación

HORIZON-ERC - HORIZON ERC Grants

Ver todos los proyectos financiados en el marco de este régimen de financiación

Convocatoria de propuestas

(se abrirá en una nueva ventana) ERC-2025-STG

Ver todos los proyectos financiados en el marco de esta convocatoria

Institución de acogida

THE CHANCELLOR, MASTERS AND SCHOLARS OF THE UNIVERSITY OF OXFORD
Aportación neta de la UEn
€ 2 143 785,00
Dirección
WELLINGTON SQUARE UNIVERSITY OFFICES
OX1 2JD Oxford
Reino Unido
Región
South East (England) Berkshire, Buckinghamshire and Oxfordshire Oxfordshire
Tipo de actividad
Higher or Secondary Education Establishments
Enlaces
Coste total
€ 2 143 785,00

Beneficiarios (1)