Skip to main content
Weiter zur Homepage der Europäischen Kommission (öffnet in neuem Fenster)
Deutsch de
CORDIS - Forschungsergebnisse der EU
CORDIS

VITAL-Rim: Vision-Tactile-Language Integration for Robotic Interactive Manipulation

Projektbeschreibung

Intelligentere Haushaltsroboter mit Sehvermögen, Tastsinn und Sprachverständnis

Während die Robotertechnik die Fabrikhallen revolutioniert hat, konnten Haushaltsroboter mit diesem Fortschritt bislang nicht mithalten. Sie tun sich nach wie vor schwer damit, sich im unvorhersehbaren Chaos eines Haushalts zurechtzufinden, da sie vor allem menschliche Absichten nicht vollständig verstehen oder nicht mit Gegenständen umgehen können. Mit Unterstützung durch das Marie-Skłodowska-Curie-Maßnahmenprogramm wird Projekt VITAL-Rim ein TVLA-Framework (Tactile-Vision-Language-Action) entwickeln, das visuelle Wahrnehmung, das Verstehen natürlicher Sprache und Echtzeit-Tastsensorik kombiniert, um Robotern das Ausführen von alltäglichen Haushaltsaufgaben mit größerer Präzision und Anpassungsfähigkeit zu ermöglichen. Hierdurch sollen Roboter lernen, mündliche Anweisungen zu interpretieren und ihre Bewegungen mithilfe kontinuierlicher taktiler Rückmeldung zu verfeinern. VITAL-Rim ebnet letztlich den Weg zu einer Welt, in der hilfreiche Roboter fester Bestandteil unseres Alltags sind.

Ziel

The VITAL-Rim project, short for VIsion-TActile-Language integration for Robotic interactive manipulation, aims to enhance household robots' ability to assist with daily chores by endowing three key capabilities: scene perception through vision, semantic understanding via language, and real-time force control through touch. Currently, the development of household robots lags behind that of industrial robots, primarily due to two VITAL RIMs in homes: the barrier between humans and robots, and the complicated interaction between robots and their environments. To address these challenges, this project will propose a novel slow-fast tactile-vision-language-action (TVLA) model that facilitates high-rate, dexterous control of robots in homes. To achieve this, the project will implement a three-tier hierarchical framework consisting of the VLA Semantic Layer, Slow Policy Layer, and Fast Action Layer. The VLA Semantic Layer will interpret language instructions and outline task sequences. The Slow Policy Layer will generate scene-adaptive action blocks, bridging the operational frequency gap between semantic actions and real contact scenarios. The Fast Action Layer will refine these actions in real-time using a proposed lightweight vision-tactile fusion model, ensuring precise force control and rapid responsiveness. The project will design a portable handheld data collector that collects multimodal data from real household chores, thereby generating a comprehensive dataset and providing a benchmark for the TVLA model training. Ultimately, this trained model will undergo thorough evaluation in both simulations and real-world robots.
Overall, the VITAL-Rim project will empower home robots to effectively understand and respond to natural language instructions, significantly improving their interactive manipulation skills in the contact-rich scenarios. This aligns with the work programme's focus on advancing robotics for practical applications in domestic environments.

Wissenschaftliches Gebiet (EuroSciVoc)

Schlüsselbegriffe

Programm/Programme

Thema/Themen

Finanzierungsplan

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen

Aufforderung zur Vorschlagseinreichung

(öffnet in neuem Fenster) HORIZON-MSCA-2025-PF

Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigen

Koordinator

THE UNIVERSITY OF LIVERPOOL
Netto-EU-Beitrag
€ 276 187,92
Adresse
BROWNLOW HILL 765 FOUNDATION BUILDING
L69 7ZX LIVERPOOL
Vereinigtes Königreich
Region
North West (England) Merseyside Liverpool
Aktivitätstyp
Higher or Secondary Education Establishments
Links
Gesamtkosten
Keine Daten

Partner (2)