Skip to main content
Vai all'homepage della Commissione europea (si apre in una nuova finestra)
italiano it
CORDIS - Risultati della ricerca dell’UE
CORDIS

Scalable Manipulation Learning through AR-enhanced Teleoperation enabling Intuitive Interactive Instructions

Descrizione del progetto

Ampliare le capacità di apprendimento delle competenze dei robot

I significativi progressi nell’intelligenza artificiale, nella robotica e nelle tecnologie digitali hanno portato a innovazioni rivoluzionarie in diversi settori, in particolare nell’automazione. Purtroppo, sia l’intelligenza artificiale che la robotica hanno ancora difficoltà a interagire con oggetti diversi, scenari complessi e ambienti. Esistono inoltre limitazioni nella loro capacità di manipolare oggetti con proprietà e geometrie diverse. Anche seguire manuali di istruzioni complessi è una sfida. In quest’ottica, il progetto SMARTI3, finanziato dal CER, ottimizzerà la generazione di dati umani e sintetici per l’apprendimento dei robot, potenziando e ampliando notevolmente le capacità di apprendimento delle competenze robotiche. Questo approccio combina la generazione di dati, sfruttando il feedback umano per un miglioramento continuo, la messa a punto delle conoscenze di base e l’integrazione di istruzioni offline e informazioni geometriche per sviluppare modelli chiave per la percezione, la previsione e l’abilità.

Obiettivo

SMARTI3 addresses three pivotal visions in robotics: enabling robots to handle diverse objects in complex scenes, manipulate objects with varying geometries and physical properties, and interpret and follow intricate instruction manuals. While AI is predestined to realize these visions, its promises to fulfill these visions have not been fully realized yet. Despite significant breakthroughs of AI in many domains, robotics has not seen a parallel surge, primarily due to challenges in task-specific data collection, the high demand for training data, and the extensive expertise required for applying AI in robotics.

Our innovative approach integrates intuitive data generation, fine-tuning of foundational knowledge, leveraging human feedback for continual self-improvement, and incorporating offline instructions with semantic and geometric information into skill, perception, and prediction models. Our objectives are to streamline the generation of human and synthetic data for robot learning, develop few-shot adaptable foundational representations, scale-up robot skill-learning capabilities, and enhance learning from interactive human feedback and offline instructions.

The project showcases its advancements through three use cases that mirror future industrial applications: sorting and disassembling a variety of Lego pieces, origami folding from visual instructions, and assembling complex Lego structures from unsorted pieces using instruction manuals. These cases highlight our approach's adaptability and potential for industrial application.

SMARTI3 aims to revolutionize robotic skill, perception, and prediction models, significantly broadening the scope of robotic technology in various industries. This groundbreaking project lays the foundation for a new era of intelligent, adaptable, and user-friendly robotic solutions, set to rival human manipulation capabilities.

Campo scientifico (EuroSciVoc)

Programma(i)

Argomento(i)

Meccanismo di finanziamento

HORIZON-ERC - HORIZON ERC Grants

Vedi tutti i progetti finanziati nell’ambito di questo schema di finanziamento

Invito a presentare proposte

(si apre in una nuova finestra) ERC-2024-COG

Vedi tutti i progetti finanziati nell’ambito del bando

Istituzione ospitante

KARLSRUHER INSTITUT FUER TECHNOLOGIE
Contributo netto dell'UE
€ 2 445 808,00
Indirizzo
KAISERSTRASSE 12
76131 Karlsruhe
Germania
Regione
Baden-Württemberg Karlsruhe Karlsruhe, Stadtkreis
Tipo di attività
Higher or Secondary Education Establishments
Collegamenti
Costo totale
€ 2 445 808,00

Beneficiari (1)