Opis projektu
Rozwiązanie problemu „czarnej skrzynki”
Wraz z rozwojem technologii uczenia maszynowego i sztucznej inteligencji zwiększa się złożoność modeli, przez co stają się one coraz mniej zrozumiałe dla człowieka. Zjawisko to nazywane jest problemem „czarnej skrzynki”. Ten efekt czarnej skrzynki wynika z problemu identyfikowalności, w przypadku którego modele mogą wyrażać ten sam wzorzec na niezliczone sposoby w swoich wewnętrznych reprezentacjach. Problem ten utrudnia nam zrozumienie spostrzeżeń generowanych przez te modele, co prowadzi do powstania następującego dylematu: albo zaakceptować niemożność zrozumienia wyników, albo ograniczyć złożoność modelu. Z tego względu zespół finansowanego ze środków Europejskiej Rady ds. Badań Naukowych projektu NoKnow postanowił przenieść punkt ciężkości z samych reprezentacji na zadania, których rozwiązaniu służą. Wykorzystując narzędzia z dziedzin takich jak geometria różniczkowa i wnioskowanie bayesowskie, uczeni z projektu NoKnow zamierzają uzyskać identyfikowalne wyniki w rozmaitości reprezentacji.
Cel
Machine learning and artificial intelligence techniques are progressing at a tremendous pace and impressive results appear across scientific fields. However, as machine learning models grow in capacity, they become increasingly ‘black box’, and it becomes harder for humans to reason about the patterns discovered by the machine. A root cause of this difficulty is that most machine learning models can express the same pattern in infinitely many, equally good, ways within their internal representations of the world. This is known as an identifiability problem.
Today we lack a general solution to identifiability problems, and either give up on understanding the patterns discovered by the machine or reduce model complexity to lessen the problem. The latter also reduces the fidelity and applicability of the model. NoKnow rephrase the question of identifiability to be concerned with tasks solved by the representation rather than the representation itself. Using tools from differential geometry and Bayesian inference, we develop the theoretical tools to ensure that tasks solved in the representation have an identifiable outcome even if the representations themselves are not identifiable.
To turn theory into practice, we develop state-of-the-art algorithms for assessing the uncertainty of learned representations in order to indirectly estimate the topology of the representation manifold. We further develop novel, high-fidelity predictive models that have identifiable outcomes when trained on learned representations.
NoKnow provides the fundamental tools needed to engage with learned representations to guarantee identifiable outcomes. This, in turn, increase trust in findings as they are not dependent on arbitrariness in learned representations. As society increasingly automates decisions, this trust in machine learning becomes ever more important.
Dziedzina nauki (EuroSciVoc)
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego.
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego.
- nauki przyrodniczematematykamatematyka czystatopologia
- nauki przyrodniczematematykamatematyka czystageometria
Aby użyć tej funkcji, musisz się zalogować lub zarejestrować
Słowa kluczowe
Program(-y)
- HORIZON.1.1 - European Research Council (ERC) Main Programme
Temat(-y)
System finansowania
HORIZON-ERC - HORIZON ERC GrantsInstytucja przyjmująca
2800 Kongens Lyngby
Dania