Improving social competences of virtual agents through artificial consciousness based on the Attention Schema Theory

Informations projet

ASTOUND

N° de convention de subvention: 101071191

DOI

10.3030/101071191

Date de signature de la CE 14 Decembre 2022

Date de début 1 Decembre 2022

Date de fin 30 Novembre 2025

Financé au titre de

• The European Innovation Council (EIC)

Coût total

€ 3 330 897,50

Contribution de l’UE

€ 3 330 897,50

Coordonné par

UNIVERSIDAD POLITECNICA DE MADRID
Spain

CORDIS fournit des liens vers les livrables publics et les publications des projets HORIZON.

Les liens vers les livrables et les publications des projets du 7e PC, ainsi que les liens vers certains types de résultats spécifiques tels que les jeux de données et les logiciels, sont récupérés dynamiquement sur OpenAIRE .

Livrables

Documents, reports (3)

Guidelines for an ethical roadmap for oversight of AI projects
Process of database curation established
Website and project logo

Project logo and website ready

Demonstrators, pilots, prototypes (1)

Cognitive plausibility and role of attention schema established

Data Management Plan (1)

Data Management Plan

DMP generated

Publications

Peer reviewed articles (9)

PoE: A Panel of Experts for Generalized Automatic Dialogue Assessment

Auteurs: Chen Zhang; Luis Fernando D'Haro; Qiquan Zhang; Thomas Friedrichs; Haizhou Li
Publié dans: IEEE/ACM Transactions on Audio, Speech, and Language Processing, Numéro 31, 2023, ISSN 2329-9304
Éditeur: IEEE
DOI: 10.48550/arXiv.2212.08992

Sign Language Dataset for Automatic Motion Generation

Auteurs: Villa Monedero, María, Gil Martín, Manuel , Sáez Trigueros, Daniel, Pomirski, Andrzej and San Segundo Hernández, Rubén
Publié dans: Journal of Imaging, Numéro 9 (12), 2023, ISSN 2313-433X
Éditeur: MDPI
DOI: 10.3390/JIMAGING9120262

Evaluating emotional and subjective responses in synthetic art-related dialogues: A multi-stage framework with large language models. 

Auteurs: Luna-Jiménez, C., Gil-Martín, M., D’Haro, L. F., Fernández-Martínez, F., & San-Segundo, R.
Publié dans: Expert Systems with Applications, Numéro 255, 124524, 2024, ISSN 1873-6793
Éditeur: ELSEVIER
DOI: 10.1016/J.ESWA.2024.124524

Automatic Detection of Inconsistencies and Hierarchical Topic Classification for Open-Domain Chatbots

Auteurs: Mario Rodríguez-Cantelar, Marcos Estecha-Garitagoitia, Luis Fernando D’Haro,Fernando Matía, Ricardo Córdoba
Publié dans: Applied Sciences, Numéro 13 (16), 2023, ISSN 2076-3417
Éditeur: MDPI
DOI: 10.3390/APP13169055

Overview of the Ninth Dialog System Technology Challenge: DSTC9

Auteurs: Gunasekara, C., Kim, S., D'haro, L.F., Rastogi, A., Chen, Y.N., Eric, M., Hedayatnia, B., Gopalakrishnan, K., Liu, Y., Huang, C.W. and Hakkani-Tür, D.,
Publié dans: IEEE/ACM Transactions on Audio, Speech, and Language Processing, Numéro 32, 4066 - 4076, 2024, ISSN 2329-9304
Éditeur: IEEE
DOI: 10.1109/TASLP.2024.3426331

Sign Language Motion Generation from Sign Characteristic

Auteurs: Gil Martín, Manuel , Villa Monedero, María, Pomirski, Andrzej, Sáez Trigueros, Daniel and San Segundo Hernández, Rubén
Publié dans: Sensors, Numéro 23, 2023, ISSN 1424-8220
Éditeur: MDPI
DOI: 10.3390/S23239365

Dual Leap Motion Controller 2: A Robust Dataset for Multi-view Hand Pose Recognition

Auteurs: Manuel Gil-Martín, Marco Raoul Marini, Rubén San-Segundo, Luigi Cinque
Publié dans: Scientific Data, Numéro 11, 2024, ISSN 2052-4463
Éditeur: Springer Science and Business Media LLC
DOI: 10.1038/S41597-024-03968-9

A dataset of synthetic art dialogues with ChatGPT

Auteurs: Gil-Martín, M., Luna-Jiménez, C., Esteban-Romero, S., Estecha-Garitagoitia, M., Fernández-Martínez, F., & D’Haro, L. F.
Publié dans: Scientific Data2052-4463, Numéro 11(1),825, 2024, ISSN 2052-4463
Éditeur: Nature Portfolio
DOI: 10.1038/S41597-024-03661-X

Testing Theory of Mind in GPT Models and Humans

Auteurs: James Strachan, Dalila Albergo, Giulia Borghini, Oriana Pansardi, Eugenio Scaliti, Alessandro Rufo, Guido Manzi, Michael Graziano, Cristina Becchio
Publié dans: Research Square, 2023, ISSN 2693-5015
Éditeur: Research Square
DOI: 10.21203/rs.3.rs-3262385/v1

Conference proceedings (17)

xDial-Eval: A Multilingual Open-Domain Dialogue Evaluation Benchmark

Auteurs: Chen Zhang, Luis D’Haro, Chengguang Tang, Ke Shi, Guohua Tang, Haizhou Li
Publié dans: Findings of the Association for Computational Linguistics: EMNLP 2023, Numéro 5579–5601, 2023
Éditeur: Association for Computational Linguistics
DOI: 10.18653/V1/2023.FINDINGS-EMNLP.371

"Awareness in robotics: An early perspective from the viewpoint of the EIC Pathfinder Challenge"" Awareness Inside''"

Auteurs: Cosimo Della Santina, Carlos Hernandez Corbato, Burak Sisman, Luis A. Leiva, Ioannis Arapakis, Michalis Vakalellis, Jean Vanderdonckt, Luis Fernando D’Haro, Guido Manzi, Cristina Becchio, A ̈ıda Elamrani, Mohsen Alirezaei, Ginevra Castellano, Dimos V. Dim
Publié dans: European Robotics Forum, 2024
Éditeur: European Robotics Forum
DOI: 10.48550/ARXIV.2402.09030

STEPI: System for Triplet Extraction of Personal Information in Dialogue Systems

Auteurs: Villa Monedero, M., Bellver, J., Ghebriout, M. I. E., De Cordoba, R., & D'Haro, L. F.
Publié dans: Iberspeech2024, 2024
Éditeur: ISCA

Multilingual Speech Emotion Recognition combining Audio and Text using Small Language Models

Auteurs: Jaime Bellver, Mario Rodríguez Cantelar, Marcos Estecha Garitagoitia, Ricardo De Córdoba Herralde, Luis Fernando D'Haro
Publié dans: Iberspeech2024, 2024
Éditeur: ISCA
DOI: 10.21437/IberSPEECH.2024-43

LLM-Driven Multimodal Fusion for Human Perception Analysis

Auteurs: Esteban-Romero, S., Martín-Fernández, I., Gil-Martín, M., Griol-Barres, D., Callejas-Carrión, Z., & Fernández-Martínez, F
Publié dans: MuSe'24: Proceedings of the 5th on Multimodal Sentiment Analysis Challenge and Workshop: Social Perception and Hum, 2024
Éditeur: ACM
DOI: 10.1145/3689062.36890

A comprehensive analysis of the effectiveness of large language models as automatic dialogue evaluators

Auteurs: Zhang, Chen, Luis Fernando D'Haro, Yiming Chen, Malu Zhang, and Haizhou Li.
Publié dans: AAAI Conference on Artificial Intelligence, Numéro vol. 38, no. 17, pp. 19515-19524., 2024, ISSN 2374-3468
Éditeur: Advancement of Artifcial Intelligence
DOI: 10.48550/arXiv.2312.15407

Improving Hand Pose Recognition using Localization and Zoom Normalizations over MediaPipe Landmarks

Auteurs: Remiro Pérez, Miguel Ángel, Gil Martín, Manuel and San Segundo Hernández, Rubén
Publié dans: 10th International Electronic Conference on Sensors and Applications session Sensors and Artificial Intelligence, 2023, ISSN 2673-4591
Éditeur: MDPI
DOI: 10.3390/ECSA-10-16215

THAU-UPM at EmoSPeech-IberLEF2024: Efficient Adaptation of Mono-modal and Multi-modal Large Language Models for Automatic Speech Emotion Recognition

Auteurs: Esteban-Romero, S., Bellver-Soler, J., Martın-Fernández, I., Gil-Martın, M., D’Haro, L. F., & Fernández-Martınez, F.
Publié dans: Iberian Languages Evaluation Forum (IberLEF 2024) at SEPLN2024, 2024, ISSN 1613-0073
Éditeur: SEPLN

CVQA - Culturally-diverse Multilingual Visual Question Answering Benchmark

Auteurs: David Romero*👁️, Chenyang Lyu*👁️, Haryo Akbarianto Wibowo👁️, Teresa Lynn, Injy Hamed, Aditya Nanda Kishore, Aishik Mandal, Alina Dragonetti, Artem Abzaliev, Atnafu Lambebo Tonja, Bontu Fufa Balcha, Chenxi Whitehouse, Christian Salamea, Dan John Velasco
Publié dans: NeurIPs, 2024
Éditeur: NeurIPs

Beyond single-audio: Advancing multi-audio processing in audio large language models

Auteurs: Chen, Y., Yue, X., Gao, X., Zhang, C., D'Haro, L. F., Tan, R. T., & Li, H.
Publié dans: EMNLP2024, 2024
Éditeur: Association for Computational Linguistics

Video Memorability Prediction From Jointly-learnt Semantic and Visual Features

Auteurs: Martín-Fernández, Iván, Ricardo Kleinlein, Cristina Luna-Jiménez, Manuel Gil-Martín, and Fernando Fernández-Martínez
Publié dans: 20th International Conference on Content-based Multimedia Indexing, Orleans, France, 2023, ISBN 979-8-4007-0912-8
Éditeur: ACM

Interpreting Sign Language Recognition using Transformers and MediaPipe Landmarks

Auteurs: Cristina Luna-Jiménez, Manuel Gil-Martín, Ricardo Kleinlein, Rubén San-Segundo, Fernando Fernández-Martínez
Publié dans: 25th ACM International Conference on Multimodal Interaction, 2023, ISBN 979-8-4007-0055-2
Éditeur: Association for Machinery Computational
DOI: 10.1145/3577190.3614143

Overview of Robust and Multilingual Automatic Evaluation Metricsfor Open-Domain Dialogue Systems at DSTC 11 Track 4

Auteurs: Mario Rodríguez-Cantelar, Chen Zhang, Chengguang Tang, Ke Shi, Sarik Ghazarian, João Sedoc, Luis Fernando D’Haro, Alexander I. Rudnicky
Publié dans: Proceedings of The Eleventh Dialog System Technology Challenge, 2023
Éditeur: Association for Computational Linguistics

Larger Encoders, Smaller Regressors: Exploring Label Dimensionality Reduction and Multimodal Large Language Models as Feature Extractors for Predicting Social Perception.

Auteurs: Martín-Fernández, I., Esteban-Romero, S., Bellver-Soler, J., Fernández-Martínez, F., & Gil-Martín, M.
Publié dans: Martín-Fernández, I., Esteban-Romero, S., Bellver-Soler, J., Fernández-Martínez, F., & Gil-Martín, M., 2024
Éditeur: ACM
DOI: 10.1145/3689062.368908

A Comprehensive Analysis of Parkinson’s Disease Detection Through Inertial Signal Processing

Auteurs: Gil Martín, Manuel; Esteban Romero, Sergio; Fernández Martínez, Fernando; San Segundo Hernández, Rubén
Publié dans: reponame:Archivo Digital UPM, 2024
Éditeur: ICAART2024
DOI: 10.5220/0012360100003636

Parkinson’s Disease Detection Through Inertial Signals and Posture Insights

Auteurs: Gil Martín, Manuel; Esteban Romero, Sergio; Fernández Martínez, Fernando; San Segundo Hernández, Rubén
Publié dans: Proceedings of the 16th International Conference on Agents and Artificial Intelligence | 16th International Conference on Agents and Artificial Intelligence - ICAART24 | 24/02/2024 | Rome, Italy, 2024
Éditeur: ICAART
DOI: 10.5220/0012451100003636

Multimodal Audio-Language Model for Speech Emotion Recognition

Auteurs: Bellver, J., Martín-Fernández, I., Bravo-Pacheco, J. M., Esteban, S., Fernández-Martínez, F., & D'Haro, L. F.
Publié dans: odyssey 2024 , 2024
Éditeur: ISCA
DOI: 10.21437/ODYSSEY.2024-41

Other (1)

Attention Schema in Neural Agents

Auteurs: Liu, Dianbo; Bolotta, Samuele; Zhu, He; Bengio, Yoshua; Dumas, Guillaume
Publié dans: ArXiv, 2023
Éditeur: Cornell University
DOI: 10.48550/arxiv.2305.17375