Anticipatory Human-Computer Interaction

Informations projet

ANTICIPATE

N° de convention de subvention: 801708

DOI

10.3030/801708

Projet clôturé

Date de signature de la CE 30 Janvier 2019

Date de début 1 Février 2019

Date de fin 31 Janvier 2024

Financé au titre de

• EXCELLENT SCIENCE - European Research Council (ERC)

Coût total

€ 1 499 625,00

Contribution de l’UE

€ 1 499 625,00

Coordonné par

UNIVERSITY OF STUTTGART
Germany

CORDIS fournit des liens vers les livrables publics et les publications des projets HORIZON.

Les liens vers les livrables et les publications des projets du 7e PC, ainsi que les liens vers certains types de résultats spécifiques tels que les jeux de données et les logiciels, sont récupérés dynamiquement sur OpenAIRE .

Publications

Conference proceedings (31)

MultiMediate ’23: Engagement Estimation and Bodily Behaviour Recognition in Social Interactions

Auteurs: Philipp Müller, Michal Balazia, Tobias Baur, Michael Dietz, Alexander Heimerl, Dominik Schiller, Mohammed Guermal, Dominike Thomas, François Brémond, Jan Alexandersson, Elisabeth André, Andreas Bulling
Publié dans: Proc. of the 31st ACM International Conference on Multimedia 2023, 2023
Éditeur: ACM
DOI: 10.1145/3581783.3613851

Int-HRL: Towards Intention-based Hierarchical Reinforcement Learning

Auteurs: Anna Penzkofer, Simon Schaefer, Florian Strohm, Mihai Bâce, Stefan Leutenegger, Andreas Bulling
Publié dans: Proc. Adaptive and Learning Agents Workshop (ALA)2023, 2023
Éditeur: ACM

Designing for Noticeability: The Impact of Visual Importance on Desktop Notifications

Auteurs: Philipp Müller, Sander Staal, Mihai Bâce, Andreas Bulling
Publié dans: Proc. ACM SIGCHI Conference on Human Factors in Computing Systems (CHI)2022, 2022
Éditeur: ACM
DOI: 10.1145/3491102.3501954

VQA-MHUG: A gaze dataset to study multimodal neural attention in VQA

Auteurs: Ekta Sood, Fabian Kögel, Florian Strohm, Prajit Dhar, Andreas Bulling
Publié dans: Proc. ACL SIGNLL Conference on Computational Natural Language Learning (CoNLL), 2021, Page(s) 27-43
Éditeur: Association for Computational Linguistics
DOI: 10.18653/v1/2021.conll-1.3

Neural Photofit: Gaze-based Mental Image Reconstruction

Auteurs: Florian Strohm, Ekta Sood, Sven Mayer, Philipp Müller, Mihai Bâce, Andreas Bulling
Publié dans: Proc. IEEE International Conference on Computer Vision (ICCV), 2021
Éditeur: IEEE Computer Society

Mouse2Vec: Learning Reusable Semantic Representations of Mouse Behaviour

Auteurs: Guanhua Zhang, Zhiming Hu, Mihai Bâce, Andreas Bulling
Publié dans: Proc. ACM SIGCHI Conference on Human Factors in Computing Systems (CHI), 2024, Page(s) pp. 1–17
Éditeur: ACM
DOI: 10.1145/3613904.3642141

Predicting Next Actions and Latent Intents during Text Formatting

Auteurs: Guanhua Zhang, Susanne Hindennach, Jan Leusmann, Felix Bühler, Benedict Steuerlein, Sven Mayer, Mihai Bâce, Andreas Bulling
Publié dans: Proc. the CHI Workshop Computational Approaches for Understanding, Generating, and Adapting User Interfaces, 2022
Éditeur: ACM

Facial Composite Generation with Iterative Human Feedback

Auteurs: Florian Strohm, Ekta Sood, Dominike Thomas, Mihai Bâce, Andreas Bulling
Publié dans: Proc. The 1st Gaze Meets ML workshop, PMLR 2023, 2023
Éditeur: PMLR

Multimodal Integration of Human-Like Attention in Visual Question Answering

Auteurs: Ekta Sood, Fabian Kögel, Philipp Müller, Dominike Thomas, Mihai Bâce, Andreas Bulling
Publié dans: Proc. Workshop on Gaze Estimation and Prediction in the Wild (GAZE), CVPRW 2023, 2023
Éditeur: IEEE

Improving Neural Saliency Prediction with a Cognitive Model of Human Visual Attention

Auteurs: Ekta Sood, Lei Shi, Matteo Bortoletto, Yao Wang, Philipp Müller, Andreas Bulling
Publié dans: Proc. the 45th Annual Meeting of the Cognitive Science Society (CogSci)2023, 2023
Éditeur: eScholarship

ConAn: A Usable Tool for Multimodal Conversation Analysis

Auteurs: Anna Penzkofer, Philipp Müller, Felix Bühler, Sven Mayer, Andreas Bulling
Publié dans: Proc. ACM International Conference on Multimodal Interaction (ICMI), 2021, Page(s) 341-351
Éditeur: ACM
DOI: 10.1145/3462244.3479886

Learning-based Region Selection for End-to-End Gaze Estimation

Auteurs: Xucong Zhang, Yusuke Sugano, Andreas Bulling, Otmar Hilliges
Publié dans: British Machine Vision Conference, 2020
Éditeur: The British Machine Vision Association

Anticipating Averted Gaze in Dyadic Interactions

Auteurs: Philipp Müller, Ekta Sood, Andreas Bulling
Publié dans: Symposium on Eye Tracking Research and Applications, 2020, Page(s) 1-10, ISBN 9781450371339
Éditeur: ACM
DOI: 10.1145/3379155.3391332

Gaze-enhanced Crossmodal Embeddings for Emotion Recognition

Auteurs: Ahmed Abdou, Ekta Sood, Philipp Müller, Andreas Bulling
Publié dans: Proc. International Symposium on Eye Tracking Research and Applications (ETRA)2022, 2022
Éditeur: ACM
DOI: 10.1145/3530879

Usable and Fast Interactive Mental Face Reconstruction

Auteurs: Florian Strohm, Mihai Bâce, Andreas Bulling
Publié dans: Proc. ACM Symposium on User Interface Software and Technology (UIST)2023, 2023
Éditeur: ACM
DOI: 10.1145/3586183.3606795

SalChartQA: Question-driven Saliency on Information Visualisations

Auteurs: Yao Wang, Weitian Wang, Abdullah Abdelhafez, Mayar Elfares, Zhiming Hu, Mihai Bâce, Andreas Bulling
Publié dans: Proc. ACM SIGCHI Conference on Human Factors in Computing Systems (CHI)2024, 2024
Éditeur: ACM
DOI: 10.1145/3613904.3642942

Mindful Explanations: Prevalence and Impact of Mind Attribution in XAI Research

Auteurs: Susanne Hindennach, Lei Shi, Filip Miletic, Andreas Bulling
Publié dans: Proc. ACM on Human-Computer Interaction (PACM HCI)2024, 2024
Éditeur: ACM
DOI: 10.1145/3641009

Improving natural language processing tasks with human gaze-guided neural attention

Auteurs: Sood, E.; Tannert, S.; Müller, P.; Andreas Bulling
Publié dans: Advances in Neural Information Processing Systems (NeurIPS), 2020
Éditeur: Curran Associates

OLViT: Multi-Modal State Tracking via Attention-Based Embeddings for Video-Grounded Dialog

Auteurs: Adnen Abdessaied, Manuel Hochmeister, Andreas Bulling
Publié dans: Proc. 31st Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING), 2024
Éditeur: European Language Resources Association (ELRA)

Combining Gaze Estimation and Optical Flow for Pursuits Interaction

Auteurs: Mihai Bace, Vincent Becker, Chenyang Wang, Andreas Bulling
Publié dans: Symposium on Eye Tracking Research and Applications, 2020, Page(s) 1-10, ISBN 9781450371339
Éditeur: ACM
DOI: 10.1145/3379155.3391315

SUPREYES: SUPer Resolution for EYES Using Implicit Neural Representation Learning

Auteurs: Chuhan Jiao, Zhiming Hu, Mihai Bâce, Andreas Bulling
Publié dans: Proc. ACM Symposium on User Interface Software and Technology (UIST)2023, 2023
Éditeur: ACM

Video Language Co-Attention with Multimodal Fast-Learning Feature Fusion for VideoQA

Auteurs: Adnen Abdessaied*, Ekta Sood*, Andreas Bulling
Publié dans: Proc. of the 7th Workshop on Representation Learning for NLP (Repl4NLP)2022, 2022
Éditeur: ACL

Evaluation of Appearance-Based Methods and Implications for Gaze-Based Applications

Auteurs: Xucong Zhang, Yusuke Sugano, Andreas Bulling
Publié dans: Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems - CHI '19, 2019, Page(s) 1-13, ISBN 9781-450359702
Éditeur: ACM Press
DOI: 10.1145/3290605.3300646

Quantification of Users’ Visual Attention During Everyday Mobile Device Interactions

Auteurs: Mihai Bâce, Sander Staal, Andreas Bulling
Publié dans: SIGCHI Conference on Human Factors in Computing Systems, 2020
Éditeur: ACM Press
DOI: 10.1145/3313831.3376449

Exploring Natural Language Processing Methods for Interactive Behaviour Modelling

Auteurs: Guanhua Zhang, Matteo Bortoletto, Zhiming Hu, Lei Shi, Mihai Bâce, Andreas Bulling
Publié dans: Proc. IFIP TC13 Conference on Human-Computer Interaction (INTERACT)2023, 2023
Éditeur: ACM

MultiMediate: Multi-modal Group Behaviour Analysis for Artificial Mediation

Auteurs: Philipp Müller, Dominik Schiller, Dominike Thomas, Guanhua Zhang, Michael Dietz, Patrick Gebhard, Elisabeth André, Andreas Bulling
Publié dans: Proc. ACM Multimedia (MM) - Introduction to challenge papers, 2021, Page(s) 4878–4882
Éditeur: ACM
DOI: 10.1145/3474085.3479219

MultiMediate’22: Backchannel Detection and Agreement Estimation in Group Interactions

Auteurs: Philipp Müller, Dominik Schiller, Dominike Thomas, Michael Dietz, Hali Lindsay, Patrick Gebhard, Elisabeth André, Andreas Bulling
Publié dans: Proc. ACM Multimedia (MM)2022, 2022
Éditeur: ACM
DOI: 10.1145/3503161.3551589

Neural Reasoning About Agents’ Goals, Preferences, and Actions

Auteurs: Matteo Bortoletto, Lei Shi, Andreas Bulling
Publié dans: Proc. 38th AAAI Conference on Artificial Intelligence (AAAI),2024, 2024
Éditeur: AAAI Press

Neuro-Symbolic Visual Dialog

Auteurs: Adnen Abdessaied, Mihai Bâce, Andreas Bulling
Publié dans: Proc. of the 29th International Conference on Computational Linguistics (COLING)2022, 2022
Éditeur: ACL

VD-GR: Boosting Visual Dialog with Cascaded Spatial-Temporal Multi-Modal GRaphs

Auteurs: Adnen Abdessaied, Lei Shi, Andreas Bulling
Publié dans: Proc. IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2024, 2024
Éditeur: IEEE Computer Society

Interpreting Attention Models with Human Visual Attention in Machine Reading Comprehension

Auteurs: Ekta Sood, Simon Tannert, Diego Frassinelli, Andreas Bulling, Ngoc Thang Vu
Publié dans: Proceedings of the 24th Conference on Computational Natural Language Learning, 2020, Page(s) 12-25
Éditeur: Association for Computational Linguistics
DOI: 10.18653/v1/2020.conll-1.2

Peer reviewed articles (9)

Privacy-Aware Eye Tracking: Challenges and Future Directions

Auteurs: Céline Gressel, Rebekah Overdorf, Inken Hagenstedt, Murat Karaboga, Helmut Lurtz, Michael Raschke, Andreas Bulling
Publié dans: IEEE Pervasive Computing, Numéro 22 (1), 2023, Page(s) pp. 95-102, ISSN 1536-1268
Éditeur: IEEE Computer Society
DOI: 10.1109/mprv.2022.3228660

Deep gaze pooling: Inferring and visually decoding search intents from human gaze fixations

Auteurs: Hosnieh Sattar, Mario Fritz, Andreas Bulling
Publié dans: Neurocomputing, Numéro 387, 2020, Page(s) 369-382, ISSN 0925-2312
Éditeur: Elsevier BV
DOI: 10.1016/j.neucom.2020.01.028

VisRecall: Quantifying Information Visualisation Recallability via Question Answering

Auteurs: Yao Wang, Chuhan Jiao, Mihai Bâce, Andreas Bulling
Publié dans: IEEE Transactions on Visualization and Computer Graphics (TVCG)2022, Numéro 28 (12), 2022, ISSN 1077-2626
Éditeur: Institute of Electrical and Electronics Engineers
DOI: 10.1145/3517031.3531166

EHTask: Recognizing User Tasks from Eye and Head Movements in Immersive Virtual Reality

Auteurs: Zhiming Hu, Andreas Bulling, Sheng Li, Guoping Wang
Publié dans: IEEE Transactions on Visualization and Computer Graphics (TVCG), 2021, ISSN 1077-2626
Éditeur: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tvcg.2021.3138902

MPIIGaze: Real-World Dataset and Deep Appearance-Based Gaze Estimation

Auteurs: Xucong Zhang, Yusuke Sugano, Mario Fritz, Andreas Bulling
Publié dans: IEEE Transactions on Pattern Analysis and Machine Intelligence, Numéro 41/1, 2019, Page(s) 162-175, ISSN 0162-8828
Éditeur: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tpami.2017.2778103

Decoding binary decisions under differential target probabilities from pupil dilation: A random forest approach

Auteurs: Christoph Strauch, Teresa Hirzle, Stefan Van der Stigchel, Andreas Bulling
Publié dans: Journal of Vision, Numéro 21/7, 2021, Page(s) 6, ISSN 1534-7362
Éditeur: Association for Research in Vision and Ophthalmology
DOI: 10.1167/jov.21.7.6

How Far Are We From Quantifying Visual Attention in Mobile HCI?

Auteurs: Mihai Bace, Sander Staal, Andreas Bulling
Publié dans: IEEE Pervasive Computing, Numéro 19/2, 2020, Page(s) 46-55, ISSN 1536-1268
Éditeur: IEEE Computer Society
DOI: 10.1109/MPRV.2020.2967736

Scanpath Prediction on Information Visualisations

Auteurs: Yao Wang, Mihai Bâce, Andreas Bulling
Publié dans: IEEE Transactions on Visualization and Computer Graphics (TVCG)2023, 2023, Page(s) pp. 1–15, ISSN 1077-2626
Éditeur: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tvcg.2023.3242293

FixationNet: Forecasting Eye Fixations in Task-Oriented Virtual Environments

Auteurs: Zhiming Hu, Andreas Bulling, Sheng Li, Guoping Wang
Publié dans: IEEE Transactions on Visualization and Computer Graphics (TVCG), Numéro 27/5, 2021, Page(s) 2681–2690, ISSN 1077-2626
Éditeur: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tvcg.2021.3067779