Analysis and Representation of Complex Activities in Videos

Informations projet

ARCA

N° de convention de subvention: 677650

DOI

10.3030/677650

Projet clôturé

Date de signature de la CE 1 Mars 2016

Date de début 1 Juin 2016

Date de fin 31 Mai 2021

Financé au titre de

• EXCELLENT SCIENCE - European Research Council (ERC)

Coût total

€ 1 499 875,00

Contribution de l’UE

€ 1 499 875,00

Coordonné par

RHEINISCHE FRIEDRICH-WILHELMS-UNIVERSITAT BONN
Germany

CORDIS fournit des liens vers les livrables publics et les publications des projets HORIZON.

Les liens vers les livrables et les publications des projets du 7e PC, ainsi que les liens vers certains types de résultats spécifiques tels que les jeux de données et les logiciels, sont récupérés dynamiquement sur OpenAIRE .

Publications

Book chapters (10)

Joint Viewpoint and Keypoint Estimation with Real and Synthetic Data

Auteurs: Pau Panareda Busto, Juergen Gall
Publié dans: Pattern Recognition - 41st DAGM German Conference, DAGM GCPR 2019, Dortmund, Germany, September 10–13, 2019, Proceedings, Numéro 11824, 2019, Page(s) 107-121, ISBN 978-3-030-33675-2
Éditeur: Springer International Publishing
DOI: 10.1007/978-3-030-33676-9_8

Adversarial Synthesis of Human Pose from Text

Auteurs: Yifei Zhang, Rania Briq, Julian Tanke, Juergen Gall
Publié dans: Pattern Recognition - 42nd DAGM German Conference, DAGM GCPR 2020, Tübingen, Germany, September 28 – October 1, 2020, Proceedings, Numéro 12544, 2021, Page(s) 145-158, ISBN 978-3-030-71277-8
Éditeur: Springer International Publishing
DOI: 10.1007/978-3-030-71278-5_11

Recursive Bayesian Filtering for Multiple Human Pose Tracking from Multiple Cameras

Auteurs: Oh-Hun Kwon, Julian Tanke, Juergen Gall
Publié dans: Computer Vision – ACCV 2020 - 15th Asian Conference on Computer Vision, Kyoto, Japan, November 30 – December 4, 2020, Revised Selected Papers, Part II, Numéro 12623, 2021, Page(s) 438-453, ISBN 978-3-030-69531-6
Éditeur: Springer International Publishing
DOI: 10.1007/978-3-030-69532-3_27

Iterative Greedy Matching for 3D Human Pose Tracking from Multiple Views

Auteurs: Julian Tanke, Juergen Gall
Publié dans: Pattern Recognition - 41st DAGM German Conference, DAGM GCPR 2019, Dortmund, Germany, September 10–13, 2019, Proceedings, Numéro 11824, 2019, Page(s) 537-550, ISBN 978-3-030-33675-2
Éditeur: Springer International Publishing
DOI: 10.1007/978-3-030-33676-9_38

Discovering Multi-label Actor-Action Association in a Weakly Supervised Setting

Auteurs: Sovan Biswas, Juergen Gall
Publié dans: Computer Vision – ACCV 2020 - 15th Asian Conference on Computer Vision, Kyoto, Japan, November 30 – December 4, 2020, Revised Selected Papers, Part V, Numéro 12626, 2021, Page(s) 547-561, ISBN 978-3-030-69540-8
Éditeur: Springer International Publishing
DOI: 10.1007/978-3-030-69541-5_33

Spatio-temporal Channel Correlation Networks for Action Classification

Auteurs: Ali Diba, Mohsen Fayyaz, Vivek Sharma, M. Mahdi Arzani, Rahman Yousefzadeh, Juergen Gall, Luc Van Gool
Publié dans: Computer Vision – ECCV 2018 - 15th European Conference, Munich, Germany, September 8-14, 2018, Proceedings, Part IV, Numéro 11208, 2018, Page(s) 299-315, ISBN 978-3-030-01224-3
Éditeur: Springer International Publishing
DOI: 10.1007/978-3-030-01225-0_18

Hand Pose Estimation via Latent 2.5D Heatmap Regression

Auteurs: Umar Iqbal, Pavlo Molchanov, Thomas Breuel, Juergen Gall, Jan Kautz
Publié dans: Computer Vision – ECCV 2018 - 15th European Conference, Munich, Germany, September 8-14, 2018, Proceedings, Part XI, Numéro 11215, 2018, Page(s) 125-143, ISBN 978-3-030-01251-9
Éditeur: Springer International Publishing
DOI: 10.1007/978-3-030-01252-6_8

Multi-person Pose Estimation with Local Joint-to-Person Associations

Auteurs: Umar Iqbal, Juergen Gall
Publié dans: Computer Vision – ECCV 2016 Workshops, 2016, Page(s) 627-642, ISBN 978-3-319-48881-3
Éditeur: Springer International Publishing
DOI: 10.1007/978-3-319-48881-3_44

AVID: Adversarial Visual Irregularity Detection

Auteurs: Mohammad Sabokrou, Masoud Pourreza, Mohsen Fayyaz, Rahim Entezari, Mahmood Fathy, Jürgen Gall, Ehsan Adeli
Publié dans: Computer Vision – ACCV 2018 - 14th Asian Conference on Computer Vision, Perth, Australia, December 2–6, 2018, Revised Selected Papers, Part VI, Numéro 11366, 2019, Page(s) 488-505, ISBN 978-3-030-20875-2
Éditeur: Springer International Publishing
DOI: 10.1007/978-3-030-20876-9_31

Long-Term Anticipation of Activities with Cycle Consistency

Auteurs: Yazan Abu Farha, Qiuhong Ke, Bernt Schiele, Juergen Gall
Publié dans: Pattern Recognition - 42nd DAGM German Conference, DAGM GCPR 2020, Tübingen, Germany, September 28 – October 1, 2020, Proceedings, Numéro 12544, 2021, Page(s) 159-173, ISBN 978-3-030-71277-8
Éditeur: Springer International Publishing
DOI: 10.1007/978-3-030-71278-5_12

Conference proceedings (33)

MS-TCN: Multi-Stage Temporal Convolutional Network for Action Segmentation

Auteurs: Yazan Abu Farha, Jurgen Gall
Publié dans: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, Page(s) 3570-3579, ISBN 978-1-7281-3293-8
Éditeur: IEEE
DOI: 10.1109/cvpr.2019.00369

Level Selector Network for Optimizing Accuracy-Specificity Trade-Offs

Auteurs: Ahsan Iqbal, Juergen Gall
Publié dans: 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), 2019, Page(s) 1466-1473, ISBN 978-1-7281-5023-9
Éditeur: IEEE
DOI: 10.1109/iccvw.2019.00184

Temporal Action Segmentation From Timestamp Supervision

Auteurs: Zhe Li, Yazan Abu Farha, Jurgen Gall
Publié dans: IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, Page(s) 8365-8374
Éditeur: IEEE

Uncertainty-Aware Anticipation of Activities

Auteurs: Yazan Abu Farha, Juergen Gall
Publié dans: 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), 2019, Page(s) 1197-1204, ISBN 978-1-7281-5023-9
Éditeur: IEEE
DOI: 10.1109/iccvw.2019.00151

Human Motion Prediction via Spatio-Temporal Inpainting

Auteurs: Alejandro Hernandez, Jurgen Gall, Francesc Moreno
Publié dans: 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019, Page(s) 7133-7142, ISBN 978-1-7281-4803-8
Éditeur: IEEE
DOI: 10.1109/iccv.2019.00723

Self-supervised Keypoint Correspondences for Multi-person Pose Estimation and Tracking in Videos

Auteurs: Umer Rafi, Andreas Doering, Bastian Leibe, Juergen Gall
Publié dans: Computer Vision – ECCV 2020 - 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Numéro 12365, 2020, Page(s) 36-52, ISBN 978-3-030-58565-5
Éditeur: Springer
DOI: 10.1007/978-3-030-58565-5_3

Recurrent Residual Learning for Action Recognition

Auteurs: Ahsan Iqbal, Alexander Richard, Hilde Kuehne, Juergen Gall
Publié dans: German Conference on Pattern Recognition, 2017, Page(s) 126-137
Éditeur: Springer International Publishing
DOI: 10.1007/978-3-319-66709-6_11

Weakly Supervised Action Learning with RNN Based Fine-to-Coarse Modeling

Auteurs: Alexander Richard, Hilde Kuehne, Juergen Gall
Publié dans: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, Page(s) 1273-1282, ISBN 978-1-5386-0457-1
Éditeur: IEEE
DOI: 10.1109/cvpr.2017.140

PoseTrack: Joint Multi-person Pose Estimation and Tracking

Auteurs: Umar Iqbal, Anton Milan, Juergen Gall
Publié dans: 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, Page(s) 4654-4663, ISBN 978-1-5386-0457-1
Éditeur: IEEE
DOI: 10.1109/cvpr.2017.495

Pose for Action - Action for Pose

Auteurs: Umar Iqbal, Martin Garbade, Juergen Gall
Publié dans: 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017), 2017, Page(s) 438-445, ISBN 978-1-5090-4023-0
Éditeur: IEEE
DOI: 10.1109/fg.2017.61

Open Set Domain Adaptation

Auteurs: Pau Panareda Busto, Juergen Gall
Publié dans: 2017 IEEE International Conference on Computer Vision (ICCV), 2017, Page(s) 754-763, ISBN 978-1-5386-1032-9
Éditeur: IEEE
DOI: 10.1109/iccv.2017.88

PoseTrack: A Benchmark for Human Pose Estimation and Tracking

Auteurs: Mykhaylo Andriluka, Umar Iqbal, Eldar Insafutdinov, Leonid Pishchulin, Anton Milan, Juergen Gall, Bernt Schiele
Publié dans: 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, Page(s) 5167-5176, ISBN 978-1-5386-6420-9
Éditeur: IEEE
DOI: 10.1109/cvpr.2018.00542

Action Sets: Weakly Supervised Action Segmentation Without Ordering Constraints

Auteurs: Alexander Richard, Hilde Kuehne, Juergen Gall
Publié dans: 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, Page(s) 5987-5996, ISBN 978-1-5386-6420-9
Éditeur: IEEE
DOI: 10.1109/cvpr.2018.00627

When will you do what? - Anticipating Temporal Occurrences of Activities

Auteurs: Yazan Abu Farha, Alexander Richard, Juergen Gall
Publié dans: 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, Page(s) 5343-5352, ISBN 978-1-5386-6420-9
Éditeur: IEEE
DOI: 10.1109/cvpr.2018.00560

NeuralNetwork-Viterbi: A Framework for Weakly Supervised Video Learning

Auteurs: Alexander Richard, Hilde Kuehne, Ahsan Iqbal, Juergen Gall
Publié dans: 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, Page(s) 7386-7395, ISBN 978-1-5386-6420-9
Éditeur: IEEE
DOI: 10.1109/cvpr.2018.00771

Direct Shot Correspondence Matching

Auteurs: Umer Rafi, Juergen Gall, Bastian Leibe
Publié dans: British Machine Vision Conference, 2018
Éditeur: BMVA

JointFlow: Temporal Flow Fields for Multi Person Pose Estimation

Auteurs: Andreas Doering, Umar Iqbal, Juergen Gall
Publié dans: British Machine Vision Conference, 2018
Éditeur: BMVA

Convolutional Simplex Projection Network for Weakly Supervised Semantic Segmentation

Auteurs: Rania Briq, Michael Moeller, Juergen Gall
Publié dans: British Machine Vision Conference, 2018
Éditeur: BMVA

Structural Recurrent Neural Network (SRNN) for Group Activity Analysis

Auteurs: Sovan Biswas, Juergen Gall
Publié dans: 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), 2018, Page(s) 1625-1632, ISBN 978-1-5386-4886-5
Éditeur: IEEE
DOI: 10.1109/wacv.2018.00180

An Efficient Convolutional Network for Human Pose Estimation

Auteurs: Umer Rafi, Ilya Kostrikov, Juergen Gall, Bastian Leibe
Publié dans: British Machine Vision Conference, 2016
Éditeur: BMVA Press

Handcrafting vs Deep Learning: An Evaluation of NTraj+ Features for Pose Based Action Recognition

Auteurs: Martin Garbade, Juergen Gall
Publié dans: Workshop New Challenges in Neural Computation, 2016
Éditeur: Thomas Villmann, Frank-Michael Schleif

SCT: Set Constrained Temporal Transformer for Set Supervised Action Segmentation

Auteurs: Mohsen Fayyaz, Jurgen Gall
Publié dans: 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, Page(s) 498-507, ISBN 978-1-7281-7168-5
Éditeur: IEEE
DOI: 10.1109/cvpr42600.2020.00058

Hierarchical Graph-Rnns for Action Detection of Multiple Activities

Auteurs: Sovan Biswas, Yaser Souri, Juergen Gall
Publié dans: 2019 IEEE International Conference on Image Processing (ICIP), 2019, Page(s) 1-5, ISBN 978-1-5386-6249-6
Éditeur: IEEE
DOI: 10.1109/icip.2019.8803650

You Only Need Adversarial Supervision for Semantic Image Synthesis

Auteurs: Edgar Schönfeld, Vadim Sushko, Dan Zhang, Juergen Gall, Bernt Schiele, Anna Khoreva
Publié dans: International Conference on Learning Representations, 2021
Éditeur: OpenReview.net

Unsupervised Video Representation Learning by Bidirectional Feature Prediction

Auteurs: Nadine Behrmann, Juergen Gall, Mehdi Noroozi
Publié dans: 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), 2021, Page(s) 1669-1678, ISBN 978-1-6654-0477-8
Éditeur: IEEE
DOI: 10.1109/wacv48630.2021.00171

What Object Should I Use? - Task Driven Object Detection

Auteurs: Johann Sawatzky, Yaser Souri, Christian Grund, Jurgen Gall
Publié dans: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, Page(s) 7597-7606, ISBN 978-1-7281-3293-8
Éditeur: IEEE
DOI: 10.1109/cvpr.2019.00779

Multi-Modal Temporal Convolutional Network for Anticipating Actions in Egocentric Videos

Auteurs: Olga Zatsarynna, Yazan Abu Farha, Juergen Gall
Publié dans: IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2021
Éditeur: IEEE

Enhancing Temporal Action Localization with Transfer Learning from Action Recognition

Auteurs: Ahsan Iqbal, Alexander Richard, Juergen Gall
Publié dans: 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), 2019, Page(s) 1533-1540, ISBN 978-1-7281-5023-9
Éditeur: IEEE
DOI: 10.1109/iccvw.2019.00191

Cross-Modal Knowledge Distillation for Action Recognition

Auteurs: Fida Mohammad Thoker, Juergen Gall
Publié dans: 2019 IEEE International Conference on Image Processing (ICIP), 2019, Page(s) 6-10, ISBN 978-1-5386-6249-6
Éditeur: IEEE
DOI: 10.1109/icip.2019.8802909

Unsupervised Learning of Action Classes With Continuous Temporal Embedding

Auteurs: Anna Kukleva, Hilde Kuehne, Fadime Sener, Jurgen Gall
Publié dans: 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, Page(s) 12058-12066, ISBN 978-1-7281-3293-8
Éditeur: IEEE
DOI: 10.1109/cvpr.2019.01234

Large Scale Holistic Video Understanding

Auteurs: Ali Diba, Mohsen Fayyaz, Vivek Sharma, Manohar Paluri, Jürgen Gall, Rainer Stiefelhagen, Luc Van Gool
Publié dans: Computer Vision – ECCV 2020 - 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part V, Numéro 12350, 2020, Page(s) 593-610, ISBN 978-3-030-58557-0
Éditeur: Springer International Publishing
DOI: 10.1007/978-3-030-58558-7_35

3D CNNs With Adaptive Temporal Feature Resolutions

Auteurs: Mohsen Fayyaz, Emad Bahrami, Ali Diba, Mehdi Noroozi, Ehsan Adeli, Luc Van Gool, Jurgen Gall
Publié dans: IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, Page(s) 4731-4740
Éditeur: IEEE

Harvesting Information from Captions for Weakly Supervised Semantic Segmentation

Auteurs: Johann Sawatzky, Debayan Banerjee, Juergen Gall
Publié dans: 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), 2019, Page(s) 4481-4490, ISBN 978-1-7281-5023-9
Éditeur: IEEE
DOI: 10.1109/iccvw.2019.00549

Peer reviewed articles (8)

MS-TCN++: Multi-Stage Temporal Convolutional Network for Action Segmentation

Auteurs: Shi-Jie Li, Yazan AbuFarha, Yun Liu, Ming-Ming Cheng, Juergen Gall
Publié dans: IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, Page(s) 1-1, ISSN 0162-8828
Éditeur: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tpami.2020.3021756

Open Set Domain Adaptation for Image and Action Recognition

Auteurs: Pau Panareda Busto, Ahsan Iqbal, Juergen Gall
Publié dans: IEEE Transactions on Pattern Analysis and Machine Intelligence, Numéro 42/2, 2020, Page(s) 413-429, ISSN 0162-8828
Éditeur: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tpami.2018.2880750

A Hybrid RNN-HMM Approach for Weakly Supervised Temporal Action Segmentation

Auteurs: Hilde Kuehne, Alexander Richard, Juergen Gall
Publié dans: IEEE Transactions on Pattern Analysis and Machine Intelligence, Numéro 42/4, 2020, Page(s) 765-779, ISSN 0162-8828
Éditeur: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tpami.2018.2884469

Weakly supervised learning of actions from transcripts

Auteurs: Hilde Kuehne, Alexander Richard, Juergen Gall
Publié dans: Computer Vision and Image Understanding, Numéro 163, 2017, Page(s) 78-89, ISSN 1077-3142
Éditeur: Academic Press
DOI: 10.1016/j.cviu.2017.06.004

A bag-of-words equivalent recurrent neural network for action recognition

Auteurs: Alexander Richard, Juergen Gall
Publié dans: Computer Vision and Image Understanding, Numéro 156, 2017, Page(s) 79-91, ISSN 1077-3142
Éditeur: Academic Press
DOI: 10.1016/j.cviu.2016.10.014

A dual-source approach for 3D human pose estimation from single images

Auteurs: Umar Iqbal, Andreas Doering, Hashim Yasin, Björn Krüger, Andreas Weber, Juergen Gall
Publié dans: Computer Vision and Image Understanding, Numéro 172, 2018, Page(s) 37-49, ISSN 1077-3142
Éditeur: Academic Press
DOI: 10.1016/j.cviu.2018.03.007

Fast Weakly Supervised Action Segmentation Using Mutual Consistency

Auteurs: Yaser Souri, Mohsen Fayyaz, Luca Minciullo, Gianpiero Francesca, Juergen Gall
Publié dans: IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, Page(s) 1-1, ISSN 0162-8828
Éditeur: Institute of Electrical and Electronics Engineers
DOI: 10.1109/tpami.2021.3089127

Pose Refinement Graph Convolutional Network for Skeleton-Based Action Recognition

Auteurs: Shijie Li, Jinhui Yi, Yazan Abu Farha, Juergen Gall
Publié dans: IEEE Robotics and Automation Letters, Numéro 6/2, 2021, Page(s) 1028-1035, ISSN 2377-3766
Éditeur: IEEE
DOI: 10.1109/lra.2021.3056361