Skip to main content
Przejdź do strony domowej Komisji Europejskiej (odnośnik otworzy się w nowym oknie)
polski pl
CORDIS - Wyniki badań wspieranych przez UE
CORDIS

Federated foundational models for embodied perception

Opis projektu

Uczenie maszyn widzenia w trzech wymiarach

Widzenie komputerowe to poddziedzina sztucznej inteligencji, która pozwala maszynom „widzieć” poprzez interpretowanie i rozumienie informacji wizualnych. Jednak, chociaż modele wielkoskalowe mogą rozpoznawać obiekty na obrazach 2D, są „ślepe” na świat trójwymiarowy. Finansowany przez ERBN projekt FRONTIER ma na celu zmianę tego stanu rzeczy poprzez stworzenie podstawowych modeli, które mogą poruszać się, wchodzić w interakcje i uczyć się w rzeczywistych środowiskach. Badacze projektu FRONTIER połączą sieci neuronowe z różnicowalnymi symulacjami fizycznymi, opracują algorytmy, które przestrzegają ograniczeń geometrycznych i fizycznych oraz umożliwią federacyjne uczenie na wielu systemach, aby opracować inteligencję, która byłaby jednocześnie bardziej elastyczna i podobna do ludzkiej. Ogólnym celem jest utorowanie drogi do bezpieczniejszych, samouczących się samochodów, adaptacyjnych linii produkcyjnych i robotów wspomagających, które będą nabywać umiejętności wspólnie z Internetu i od siebie nawzajem.

Cel

Computer vision is beginning to see a paradigm shift with large-scale foundational models that demonstrate impressive results on a wide range of recognition tasks. While achieving impressive results, these models learn only static 2D image representations based on observed correlations between still images and natural language. However, our world is three-dimensional, full of dynamic events and causal interactions. We argue that the next scientific challenge is to invent foundational models for embodied perception – that is perception for systems that have a physical body, operate in a dynamic 3D world and interact with the surrounding environment.

The FRONTIER proposal addresses this challenge by means of:
1. developing a new class of foundational model architectures grounded in the geometrical and physical structure of the world that seamlessly combine large-scale neural networks with learnable differentiable physical simulation components to achieve generalization across tasks, situations and environments;
2. designing new learning algorithms that incorporate the physical and geometric structure as constraints on the learning process to achieve new levels of data efficiency with the aim of bringing intelligent systems closer to humans who can often learn from only a few available examples;
3. developing new federated learning methods that will allow sharing and accumulating learning experiences across different embodied systems thereby achieving new levels of scale, accuracy, and robustness not achievable by learning in any individual system alone.

Breakthrough progress on these problems would have profound implications on our everyday lives as well as science and commerce with safer cars that learn from each other, intelligent production lines that collaboratively adapt to new workflows or a new generation of smart assistive robots that automatically learn new skills from the Internet and each other enabled by the advances from this project.

Dziedzina nauki (EuroSciVoc)

Słowa kluczowe

Program(-y)

Temat(-y)

System finansowania

HORIZON-ERC - HORIZON ERC Grants

Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania

Zaproszenie do składania wniosków

(odnośnik otworzy się w nowym oknie) ERC-2022-ADG

Wyświetl wszystkie projekty finansowane w ramach tego zaproszenia

Instytucja przyjmująca

CESKE VYSOKE UCENI TECHNICKE V PRAZE
Wkład UE netto
€ 2 499 825,00
Koszt całkowity
€ 2 499 825,00

Beneficjenci (1)