European Commission logo
polski polski
CORDIS - Wyniki badań wspieranych przez UE
CORDIS

Employment of Advanced Deep Learning and Human-Robot Interaction for Virtual Coaching

Opis projektu

Robotyczny trener dla osób starszych

Osoby starsze uprawiające aktywność fizyczną są mniej narażone na choroby i cieszą się większym komfortem życia. W ramach finansowanego ze środków UE projektu Dr VCoach powstanie robotyczny trener, który będzie pomagał osobom starszym podczas codziennych treningów fizycznych. W szczególności robot będzie rozumieć polecenia słowne (np. „Dzisiaj mam mniej siły, czy możemy zrobić lżejszy trening?”), wybierze dla użytkownika zestaw ćwiczeń, zademonstruje je i będzie monitorował ich wykonanie oraz sugerował, co należy poprawić. System będzie się składał z modułu mowy, planera ćwiczeń, detektora błędów, rozpoznawania akcji i modułu predykcji. W humanoidalnym robocie wyposażonym w warstwę oprogramowania pośredniczącego zostaną wykorzystane kamery RGB i zaawansowane systemy głębokiego uczenia się, dzięki czemu programowaniem trenera będą mogli się zajmować użytkownicy nietechniczni.

Cel

The main objective of this project (DR VCoach) will be the following: “Design and implement a robotic coach able to propose a proper exercise schedule based on human directives, monitor the exercise performed by the patient/elder and correct it in case of mistakes”. The output of the project will be a robotic coach to assist the elders during their daily physical training. The robot will be able to understand verbal commands from the user (e.g. what will be the training schedule of today? Today I feel tired, can we do a lighter training?), to define the sequence of exercises to be performed, to show the exercises to the user (with a verbal description and performing them by it-self), to monitor the user performing the exercises using RGB cameras, to eventually find some errors in the execution and to suggest a correction to the mistake.

The whole system can be divided into four modules:

- Speech module: This is the module in charge of the vocal interaction between the robot and the elders.

- Exercise scheduler: The role of this module is to break the selected exercise into atomic actions, and send these actions to the Error detector and Action recognition and prediction modules.

- Error detector: The Error detector module analyses the results coming from the Action recognition and prediction module based on the required actions received by the Exercise scheduler. After evaluating the performed action, the module sends an evaluation report to the speech module in order to inform the elder.

- Action recognition and prediction: This module has the dual task of recognising the action performed by the elder using the RGB videos coming from its embedded camera, and predicting the future viso-proprioceptive stimuli based on the action that is being performed.

The system will be implemented on Zora (a NAO robot with a software layer to make it usable by non ICT people).

System finansowania

MSCA-IF-EF-ST - Standard EF

Koordynator

UNIVERSITA DEGLI STUDI DI CAGLIARI
Wkład UE netto
€ 171 473,28
Adres
VIA UNIVERSITA 40
09124 Cagliari
Włochy

Zobacz na mapie

Region
Isole Sardegna Cagliari
Rodzaj działalności
Higher or Secondary Education Establishments
Linki
Koszt całkowity
€ 171 473,28