Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Inference in High Dimensions: Light-speed Algorithms and Information Limits

Description du projet

Développement d’algorithmes pour l’inférence de données en haute dimension

Les technologies informatiques avancées permettent de collecter et de stocker d’énormes quantités de données. Dans de nombreuses applications scientifiques, où les données et l’apprentissage automatique sont hautement dimensionnels, il est de plus en plus difficile d’interpréter les informations et de tirer des conclusions précises à l’aide de la théorie statistique conventionnelle. Cela pose un problème particulier dans les applications médicales. Pour remédier à cela, le projet INF_2, financé par le CER, vise à développer un cadre théorique pour l’inférence en haute dimension dans l’apprentissage automatique et la science des données. En utilisant une approche de champ moyen, il déterminera les limites fondamentales, ou les exigences minimales en matière de données, de l’inférence et concevra des algorithmes qui fonctionnent efficacement avec la quantité minimale d’informations. Ces principes seront ensuite adaptés à des applications réelles dans le cadre d’études d’association à l’échelle du génome.

Objectif

Extracting information from data is the key challenge of our time, and in many applications (e.g. genome-wide association studies, data compression, and virtual assistants such as ChatGPT) both the data and the machine learning model used to extract information are increasingly high-dimensional. As traditional statistical theory is ill-equipped to face this explosion in the dimensionality of the problem, machine learning is now predominantly experimental. However, empirical approaches come with huge costs affordable only to large companies, and they lack interpretability, which is especially troublesome in medical applications. To address these issues, the INF^2 project develops information-theoretically principled methods for high-dimensional inference in machine learning and data science. The key insight is that, via a “mean-field” approach, high-dimensional quantities are well approximated by low-dimensional ones and then characterized exactly. Leveraging this characterization, we will (i) establish the fundamental limits of inference, i.e. the minimal amount of data necessary to solve the problem, and (ii) design efficient algorithms requiring only the minimal amount of data. The challenge we tackle is to apply this paradigm to practical settings, in which data are structured and heterogeneous (as in genome-wide association studies), and models consist of complex architectures tailored to applications (auto-encoders for data compression, and transformers for ChatGPT). Through a novel analysis of spectral methods, approximate message passing and gradient descent, INF^2 builds a theoretical framework having conceptual impact, as well as vast applicability, in machine learning and information theory. This framework is then brought to the real world via applications in genome-wide association studies. Broadly, our results enable the principled design of machine learning algorithms and models, drastically reducing costs and providing interpretable solutions.

Champ scientifique (EuroSciVoc)

Ce projet n'a pas encore été classé par EuroSciVoc.
Proposez les domaines scientifiques qui vous semblent les plus pertinents et aidez-nous à améliorer notre service de classification.

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-ERC - HORIZON ERC Grants

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) ERC-2024-STG

Voir tous les projets financés au titre de cet appel

Institution d’accueil

INSTITUTE OF SCIENCE AND TECHNOLOGY AUSTRIA
Contribution nette de l'UE
€ 1 662 400,00
Adresse
Am Campus 1
3400 Klosterneuburg
Autriche
Région
Ostösterreich Niederösterreich Wiener Umland/Nordteil
Type d’activité
Higher or Secondary Education Establishments
Liens
Coût total
€ 1 662 400,00

Bénéficiaires (1)