Skip to main content
Aller à la page d’accueil de la Commission européenne (s’ouvre dans une nouvelle fenêtre)
français fr
CORDIS - Résultats de la recherche de l’UE
CORDIS

Not Knowing in Deep Representation Learning

Description du projet

Relever le défi de la «boîte noire»

À mesure que l’apprentissage automatique et l’IA progressent, la complexité des modèles augmente, ce qui les rend de plus en plus opaques à la compréhension humaine. Ce phénomène est appelé le problème de la «boîte noire». Cette opacité résulte d’un problème d’identifiabilité, les modèles pouvant exprimer le même schéma d’innombrables façons au sein de leurs représentations internes. Ce manque de transparence entrave notre capacité à comprendre les idées générées par ces modèles, ce qui nous place devant un dilemme: accepter l’impénétrabilité des résultats ou sacrifier la complexité du modèle. Dans ce contexte, le projet NoKnow, financé par le CER, met l’accent non plus sur les représentations elles-mêmes, mais sur les tâches qu’elles permettent de résoudre. En utilisant des outils de géométrie différentielle et d’inférence bayésienne, le projet NoKnow garantira des résultats identifiables au sein du manifold de représentation.

Objectif

Machine learning and artificial intelligence techniques are progressing at a tremendous pace and impressive results appear across scientific fields. However, as machine learning models grow in capacity, they become increasingly ‘black box’, and it becomes harder for humans to reason about the patterns discovered by the machine. A root cause of this difficulty is that most machine learning models can express the same pattern in infinitely many, equally good, ways within their internal representations of the world. This is known as an identifiability problem.

Today we lack a general solution to identifiability problems, and either give up on understanding the patterns discovered by the machine or reduce model complexity to lessen the problem. The latter also reduces the fidelity and applicability of the model. NoKnow rephrase the question of identifiability to be concerned with tasks solved by the representation rather than the representation itself. Using tools from differential geometry and Bayesian inference, we develop the theoretical tools to ensure that tasks solved in the representation have an identifiable outcome even if the representations themselves are not identifiable.

To turn theory into practice, we develop state-of-the-art algorithms for assessing the uncertainty of learned representations in order to indirectly estimate the topology of the representation manifold. We further develop novel, high-fidelity predictive models that have identifiable outcomes when trained on learned representations.

NoKnow provides the fundamental tools needed to engage with learned representations to guarantee identifiable outcomes. This, in turn, increase trust in findings as they are not dependent on arbitrariness in learned representations. As society increasingly automates decisions, this trust in machine learning becomes ever more important.

Champ scientifique (EuroSciVoc)

Mots‑clés

Programme(s)

Thème(s)

Régime de financement

HORIZON-ERC - HORIZON ERC Grants

Voir tous les projets financés dans le cadre de ce programme de financement

Appel à propositions

(s’ouvre dans une nouvelle fenêtre) ERC-2023-COG

Voir tous les projets financés au titre de cet appel

Institution d’accueil

DANMARKS TEKNISKE UNIVERSITET
Contribution nette de l'UE
€ 1 999 114,00
Adresse
ANKER ENGELUNDS VEJ 101
2800 Kongens Lyngby
Danemark
Région
Danmark Hovedstaden Københavns omegn
Type d’activité
Higher or Secondary Education Establishments
Liens
Coût total
€ 1 999 114,00

Bénéficiaires (1)