Skip to main content
Vai all'homepage della Commissione europea (si apre in una nuova finestra)
italiano it
CORDIS - Risultati della ricerca dell’UE
CORDIS

VITAL-Rim: Vision-Tactile-Language Integration for Robotic Interactive Manipulation

Descrizione del progetto

Vista, tatto e linguaggio per lo sviluppo di robot domestici più intelligenti

Sebbene la robotica abbia trasformato gli stabilimenti produttivi, i robot domestici non hanno tenuto il passo: essi faticano ancora a orientarsi nel caos imprevedibile di una casa, soprattutto perché non riescono a comprendere appieno le intenzioni umane, né a maneggiare gli oggetti. Sostenuto dal programma di azioni Marie Skłodowska-Curie, il progetto VITAL-Rim svilupperà un quadro di riferimento basato sull’approccio TVLA (tattilità, visione, linguaggio e azione) che combina la percezione visiva, la comprensione del linguaggio naturale e la rilevazione tattile in tempo reale per consentire ai robot di svolgere le attività domestiche quotidiane con maggiore precisione e adattabilità. Il progetto si prefigge di insegnare ai robot a interpretare le istruzioni verbali e a perfezionare i propri movimenti grazie a un feedback tattile costante, avvicinandoci in definitiva a un mondo in cui i robot di supporto sono parte integrante della nostra vita quotidiana.

Obiettivo

The VITAL-Rim project, short for VIsion-TActile-Language integration for Robotic interactive manipulation, aims to enhance household robots' ability to assist with daily chores by endowing three key capabilities: scene perception through vision, semantic understanding via language, and real-time force control through touch. Currently, the development of household robots lags behind that of industrial robots, primarily due to two VITAL RIMs in homes: the barrier between humans and robots, and the complicated interaction between robots and their environments. To address these challenges, this project will propose a novel slow-fast tactile-vision-language-action (TVLA) model that facilitates high-rate, dexterous control of robots in homes. To achieve this, the project will implement a three-tier hierarchical framework consisting of the VLA Semantic Layer, Slow Policy Layer, and Fast Action Layer. The VLA Semantic Layer will interpret language instructions and outline task sequences. The Slow Policy Layer will generate scene-adaptive action blocks, bridging the operational frequency gap between semantic actions and real contact scenarios. The Fast Action Layer will refine these actions in real-time using a proposed lightweight vision-tactile fusion model, ensuring precise force control and rapid responsiveness. The project will design a portable handheld data collector that collects multimodal data from real household chores, thereby generating a comprehensive dataset and providing a benchmark for the TVLA model training. Ultimately, this trained model will undergo thorough evaluation in both simulations and real-world robots.
Overall, the VITAL-Rim project will empower home robots to effectively understand and respond to natural language instructions, significantly improving their interactive manipulation skills in the contact-rich scenarios. This aligns with the work programme's focus on advancing robotics for practical applications in domestic environments.

Campo scientifico (EuroSciVoc)

Parole chiave

Programma(i)

Argomento(i)

Meccanismo di finanziamento

HORIZON-TMA-MSCA-PF-EF - HORIZON TMA MSCA Postdoctoral Fellowships - European Fellowships

Vedi tutti i progetti finanziati nell’ambito di questo schema di finanziamento

Invito a presentare proposte

(si apre in una nuova finestra) HORIZON-MSCA-2025-PF

Vedi tutti i progetti finanziati nell’ambito del bando

Coordinatore

THE UNIVERSITY OF LIVERPOOL
Contributo netto dell'UE
€ 276 187,92
Indirizzo
BROWNLOW HILL 765 FOUNDATION BUILDING
L69 7ZX LIVERPOOL
Regno Unito
Regione
North West (England) Merseyside Liverpool
Tipo di attività
Higher or Secondary Education Establishments
Collegamenti
Costo totale
Nessun dato

Partner (2)