Federated foundational models for embodied perception

Informations projet

FRONTIER

N° de convention de subvention: 101097822

DOI

10.3030/101097822

Date de signature de la CE 11 Mai 2023

Date de début 1 Janvier 2024

Date de fin 31 Decembre 2028

Financé au titre de

• European Research Council (ERC)

Coût total

€ 2 499 825,00

Contribution de l’UE

€ 2 499 825,00

Coordonné par

CESKE VYSOKE UCENI TECHNICKE V PRAZE
Czechia

CORDIS fournit des liens vers les livrables publics et les publications des projets HORIZON.

Les liens vers les livrables et les publications des projets du 7e PC, ainsi que les liens vers certains types de résultats spécifiques tels que les jeux de données et les logiciels, sont récupérés dynamiquement sur OpenAIRE .

Publications

Peer reviewed articles (6)

GJK++: Leveraging Acceleration Methods for Faster Collision Detection

Auteurs: Louis Montaut, Quentin Le Lidec, Vladimir Petrik, Josef Sivic, Justin Carpentier
Publié dans: IEEE Transactions on Robotics, Numéro 40, 2024, ISSN 1552-3098
Éditeur: Institute of Electrical and Electronics Engineers (IEEE)
DOI: 10.1109/TRO.2024.3386370

Temporally Consistent Object 6D Pose Estimation for Robot Control

Auteurs: Kateryna Zorina, Vojtech Priban, Mederic Fourmy, Josef Sivic, Vladimir Petrik
Publié dans: IEEE Robotics and Automation Letters, Numéro 10, 2025, ISSN 2377-3766
Éditeur: Institute of Electrical and Electronics Engineers (IEEE)
DOI: 10.1109/LRA.2024.3502052

CoVAMPnet: Comparative Markov State Analysis for Studying Effects of Drug Candidates on Disordered Biomolecules

Auteurs: Sérgio M. Marques; Petr Kouba; Anthony Legrand; Jiri Sedlar; Lucas Disson; Joan Planas-Iglesias; Zainab Sanusi; Antonin Kunka; Jiri Damborsky; Tomas Pajdla; Zbynek Prokop; Stanislav Mazurenko; Josef Sivic; David Bednar
Publié dans: JACS Au, Numéro 4, 2024, ISSN 2691-3704
Éditeur: American Chemical Society (ACS Publications)
DOI: 10.1101/2023.01.06.523007

Self-supervised learning of molecular representations from millions of tandem mass spectra using DreaMS

Auteurs: Roman Bushuiev; Anton Bushuiev; Raman Samusevich; Corinna Brungs; Josef Sivic; Tomáš Pluskal
Publié dans: Nature Biotechnology, Numéro 44, 2026, ISSN 1546-1696
Éditeur: Springer Nature
DOI: 10.26434/CHEMRXIV-2023-KSS3R-V4

Multi-Task Learning of Object States and State-Modifying Actions From Web Videos

Auteurs: Tomáš Souček, Jean-Baptiste Alayrac, Antoine Miech, Ivan Laptev, Josef Sivic
Publié dans: IEEE Transactions on Pattern Analysis and Machine Intelligence, Numéro 46, 2024, ISSN 0162-8828
Éditeur: Institute of Electrical and Electronics Engineers (IEEE)
DOI: 10.48550/ARXIV.2211.13500

FocalPose++: Focal Length and Object Pose Estimation via Render and Compare

Auteurs: Martin Cífka, Georgy Ponimatkin, Yann Labbé, Bryan Russell, Mathieu Aubry, Vladimir Petrik, Josef Sivic
Publié dans: IEEE Transactions on Pattern Analysis and Machine Intelligence, Numéro 47, 2025, ISSN 0162-8828
Éditeur: Institute of Electrical and Electronics Engineers (IEEE)
DOI: 10.48550/ARXIV.2312.02985

Conference proceedings (12)

One Protein Is All You Need

Auteurs: Anton Bushuiev, Roman Bushuiev, Olga Pimenova, Nikola Zadorozhny, Raman Samusevich, Elisabet Manaskova, Rachel Seongeun Kim, Hannes Stärk, Jiri Sedlar, Martin Steinegger, Tomáš Pluskal, Josef Sivic
Publié dans: International Conference on Learning Representations (ICLR), 2026
Éditeur: OpenReview / ICLR Foundation
DOI: 10.48550/ARXIV.2411.02109

Learning to Engineer Protein Flexibility

Auteurs: Petr Kouba, Joan Planas-Iglesias, Jiri Damborsky, Jiri Sedlar, Stanislav Mazurenko, Josef Sivic
Publié dans: International Conference on Learning Representations (ICLR), 2025
Éditeur: OpenReview / ICLR Foundation
DOI: 10.48550/ARXIV.2412.18275

AlignPose: Generalizable 6D Pose Estimation via Multi-view Feature-metric Alignment

Auteurs: Anna Šárová Mikeštíková, Mederic Fourmy, Martin Cífka, Josef Sivic, Vladimír Petrík
Publié dans: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR, 2026
Éditeur: IEEE / Computer Vision Foundation
DOI: 10.48550/ARXIV.2512.20538

Learning to Design Protein–Protein Interactions with Enhanced Generalization

Auteurs: Anton Bushuiev, Roman Bushuiev, Petr Kouba, Anatolii Filkin, Marketa Gabrielova, Michal Gabriel, Jiri Sedlar, Tomas Pluskal, Jiri Damborsky, Stanislav Mazurenko, Josef Sivic
Publié dans: International Conference on Learning Representations (ICLR), 2024
Éditeur: OpenReview / ICLR Foundation
DOI: 10.48550/ARXIV.2310.18515

GenHowTo: Learning to Generate Actions and State Transformations from Instructional Videos

Auteurs: Tomáš Souček, Dima Damen, Michael Wray, Ivan Laptev, Josef Sivic
Publié dans: 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024
Éditeur: IEEE
DOI: 10.48550/ARXIV.2312.07322

MassSpecGym: A benchmark for the discovery and identification of molecules

Auteurs: Bushuiev, Roman; Bushuiev, Anton; de Jonge, Niek F.; Young, Adamo; Kretschmer, Fleming; Samusevich, Raman; Heirman, Janne; Wang, Fei; Zhang, Luke; Dührkop, Kai; Ludwig, Marcus; Haupt, Nils A.; Kalia, Apurva; Brungs, Corinna; Schmid, Robin; Greiner, Russell; Wang, Bo; Wishart, David S.; Liu, Li Ping; Rousu, Juho; Bittremieux, Wout; Rost, Hannes; Mak, Tytus D.; Hassoun, Soha; Huber, Florian; van der Hooft, Justin J.J.; Stravs, Michael A.; Böcker, Sebastian; Sivic, Josef; Pluskal, Tomáš
Publié dans: Conference on Neural Information Processing Systems (NeurIPS), Datasets & Benchmarks Track, 2024
Éditeur: Neural Information Processing Systems Foundation, Inc. (NeurIPS)
DOI: 10.48550/ARXIV.2410.23326

Generalization Beyond Benchmarks: Evaluating Learnable Protein–Ligand Scoring Functions on Unseen Targets

Auteurs: Jakub Kopko, David Graber, Saltuk Mustafa Eyrilmez, Stanislav Mazurenko, David Bednar, Jiri Sedlar, Josef Sivic
Publié dans: AI for Scientific Discovery Workshop, NeurIPS, 2025
Éditeur: arXiv (Cornell University)
DOI: 10.48550/ARXIV.2512.05386

De Novo Generation of Functional Terpene Synthases Using TpsGP

Auteurs: Hamsini Ramanathan, Roman Bushuiev, Matouš Soldát, Jiří Kohout, Téo Hebra, Joshua David Smith, Josef Sivic, Tomáš Pluskal
Publié dans: NeurIPS 2025 AI for Science Workshop and Machine Learning for Structural Biology (MLSB) Workshop 2025, 2025
Éditeur: OpenReview / NeurIPS workshops
DOI: 10.48550/ARXIV.2512.08772

Large-scale Pre-training for Grounded Video Caption Generation

Auteurs: Evangelos Kazakos, Cordelia Schmid, Josef Sivic
Publié dans: IEEE/CVF International Conference on Computer Vision (ICCV), 2025
Éditeur: IEEE / Computer Vision Foundatio
DOI: 10.48550/ARXIV.2503.10781

ShowHowTo: Generating Scene-Conditioned Step-by-Step Visual Instructions

Auteurs: Tomás Soucek; Prajwal Gatti; Michael Wray; Ivan Laptev; Dima Damen; Josef Sivic
Publié dans: 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025
DOI: 10.48550/ARXIV.2412.01987

Revealing data leakage in protein interaction benchmarks

Auteurs: Anton Bushuiev; Roman Bushuiev; Jirí Sedlár; Tomás Pluskal; Jirí Damborský; Stanislav Mazurenko; Josef Sivic
Publié dans: GEM Workshop at International Conference on Learning Representations (ICLR), 2024
Éditeur: OpenReview / ICLR Foundation
DOI: 10.48550/ARXIV.2404.10457

6D Object Pose Tracking in Internet Videos for Robotic Manipulation

Auteurs: Georgy Ponimatkin, Martin Cífka, Tomáš Souček, Mederic Fourmy, Yann Labbé, Vladimír Petrík, Josef Sivic
Publié dans: International Conference on Learning Representations (ICLR), 2025
Éditeur: OpenReview / ICLR Foundation
DOI: 10.48550/ARXIV.2503.10307