Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Scalable Manipulation Learning through AR-enhanced Teleoperation enabling Intuitive Interactive Instructions

Description du projet

Renforcer les capacités d’apprentissage des robots

Les considérables progrès de l’IA, de la robotique et des technologies numériques ont conduit à des percées dans plusieurs secteurs, en particulier l’automatisation. Malheureusement, l’IA et la robotique ont encore du mal à interagir avec divers objets et environnements, et des scénarios complexes. Leur capacité à manipuler des objets aux propriétés et géométries variées reste également limitée. Suivre des manuels d’instructions complexes constitue également un défi. Dans cet esprit, le projet SMARTI3, financé par le CER, va rationaliser la génération de données humaines et synthétiques pour l’apprentissage des robots, améliorant et augmentant considérablement leurs capacités d’apprentissage. Cette approche combine la génération de données, l’exploitation du retour d’information humain pour une auto-amélioration continue, l’affinement des connaissances fondamentales et l’intégration d’instructions hors ligne et d’informations géométriques pour développer des modèles clés de perception, de prédiction et de compétence.

Objectif

SMARTI3 addresses three pivotal visions in robotics: enabling robots to handle diverse objects in complex scenes, manipulate objects with varying geometries and physical properties, and interpret and follow intricate instruction manuals. While AI is predestined to realize these visions, its promises to fulfill these visions have not been fully realized yet. Despite significant breakthroughs of AI in many domains, robotics has not seen a parallel surge, primarily due to challenges in task-specific data collection, the high demand for training data, and the extensive expertise required for applying AI in robotics.

Our innovative approach integrates intuitive data generation, fine-tuning of foundational knowledge, leveraging human feedback for continual self-improvement, and incorporating offline instructions with semantic and geometric information into skill, perception, and prediction models. Our objectives are to streamline the generation of human and synthetic data for robot learning, develop few-shot adaptable foundational representations, scale-up robot skill-learning capabilities, and enhance learning from interactive human feedback and offline instructions.

The project showcases its advancements through three use cases that mirror future industrial applications: sorting and disassembling a variety of Lego pieces, origami folding from visual instructions, and assembling complex Lego structures from unsorted pieces using instruction manuals. These cases highlight our approach's adaptability and potential for industrial application.

SMARTI3 aims to revolutionize robotic skill, perception, and prediction models, significantly broadening the scope of robotic technology in various industries. This groundbreaking project lays the foundation for a new era of intelligent, adaptable, and user-friendly robotic solutions, set to rival human manipulation capabilities.

Champ scientifique (EuroSciVoc)

Programme(s)

Thème(s)

Régime de financement

HORIZON-ERC - HORIZON ERC Grants

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) ERC-2024-COG

Voir tous les projets financés au titre de cet appel

Institution d’accueil

KARLSRUHER INSTITUT FUER TECHNOLOGIE
Contribution nette de l'UE
€ 2 445 808,00
Adresse
KAISERSTRASSE 12
76131 Karlsruhe
Allemagne
Région
Baden-Württemberg Karlsruhe Karlsruhe, Stadtkreis
Type d’activité
Higher or Secondary Education Establishments
Liens
Coût total
€ 2 445 808,00

Bénéficiaires (1)