Opis projektu
Mapowanie ukrytych słabości sztucznej inteligencji
Podczas gdy sztuczna inteligencja zmienia nasz świat, słabe ogniwa algorytmów mogą narażać nas na zagrożenia. Należą do nich ataki adwersarialne i stronniczość. Finansowany przez Europejską Radę ds. Badań Naukowych projekt NumAStAI ma na celu znalezienie, zmierzenie i ograniczenie tych luk poprzez analizę numeryczną. Badacze koncentrują się więc na zrozumieniu prawdopodobnych scenariuszy ataków, umożliwieniu wprowadzania drobnych zmian i poprawek, ocenie ryzyka dla niedostatecznie reprezentowanych kategorii danych, ujawnianiu niedrogich strategii adwersarialnych, analizowaniu błędów wynikających z obliczeń o niskiej precyzji oraz uzyskiwaniu przejrzystych wyników, które mogą posłużyć za podstawę do opracowania ustawodawstwa o sztucznej inteligencji. Łącząc analizę macierzową, optymalizację i metody probabilistyczne, badacze chcą odkryć ukryte słabości sztucznej inteligencji i zapewnić jej etyczne, bezpieczne i niezawodne wdrażanie. Ostatecznie projekt NumAStAI pomoże zagwarantować skuteczność i niezawodność sztucznej inteligencji.
Cel
From a numerical analysis perspective I will identify, quantify and mitigate vulnerabilities in current artificial intelligence (AI) algorithms.
Novel mathematical research will emerge along six overlapping axes:
Inevitability: rigorously understand the inescapable endgame of the attack-versus-defence paradigm. Under what conditions is it inevitable that adversaries will
succeed? Formalizing such conditions will allow us to understand and, where possible, overcome current AI instabilities.
Editability: study algorithms that stealthily change a small number of parameters. This scenario is highly pertitent when new AI is built on top of third-party, foundation models. It also opens up the
possibility of fixing errors on-the-fly without the need to re-train.
Targetability: examine whether under-represented categories in the training data are more susceptible to adversarial attacks. This topic raises a key,
and currently overlooked, issue in the ethical use of AI.
Universality: develop linear, sparse, low rank mappings that
create adversarial attacks. These new functions will expose novel, low-cost, threat
mechanisms, but will also give insights into the decision boundary landscape.
Roundability: use state-of-the art probabilistic rounding error analysis to
justify large-scale, low precision computations.
I will study (a) why current AI technologies appear to defy traditional worst-case
floating point error bounds, and (b) whether low precision can be exploited by
an adversary.
Legislatability: devise easy-to-interpret results and practical case studies that can inform public opinion and impact the design of appropriate AI legislation.
The project identifies high-profile open questions requiring tools from
matrix analysis, optimization, backward error analysis, condition number theory and
stochastic computation. Some of the proposed work is highly speculative and challenging,
but will significantly advance our understanding of AI vulnerabilities.
Dziedzina nauki (EuroSciVoc)
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
Klasyfikacja projektów w serwisie CORDIS opiera się na wielojęzycznej taksonomii EuroSciVoc, obejmującej wszystkie dziedziny nauki, w oparciu o półautomatyczny proces bazujący na technikach przetwarzania języka naturalnego. Więcej informacji: Europejski Słownik Naukowy.
Projekt nie został jeszcze sklasyfikowany według klasyfikacji EuroSciVoc.
Wskaż dziedziny nauki, które twoim zdaniem są najbardziej istotne z punktu widzenia tego projektu i pomóż nam usprawnić naszą usługę klasyfikacji.
Aby użyć tej funkcji, musisz się zalogować lub zarejestrować
Słowa kluczowe
Słowa kluczowe dotyczące projektu wybrane przez koordynatora projektu. Nie należy mylić ich z pojęciami z taksonomii EuroSciVoc dotyczącymi dziedzin nauki.
Słowa kluczowe dotyczące projektu wybrane przez koordynatora projektu. Nie należy mylić ich z pojęciami z taksonomii EuroSciVoc dotyczącymi dziedzin nauki.
Program(-y)
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
Wieloletnie programy finansowania, które określają priorytety Unii Europejskiej w obszarach badań naukowych i innowacji.
-
HORIZON.1.1 - European Research Council (ERC)
GŁÓWNY PROGRAM
Wyświetl wszystkie projekty finansowane w ramach tego programu
Temat(-y)
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
Zaproszenia do składania wniosków dzielą się na tematy. Każdy temat określa wybrany obszar lub wybrane zagadnienie, których powinny dotyczyć wnioski składane przez wnioskodawców. Opis tematu obejmuje jego szczegółowy zakres i oczekiwane oddziaływanie finansowanego projektu.
System finansowania
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
Program finansowania (lub „rodzaj działania”) realizowany w ramach programu o wspólnych cechach. Określa zakres finansowania, stawkę zwrotu kosztów, szczegółowe kryteria oceny kwalifikowalności kosztów w celu ich finansowania oraz stosowanie uproszczonych form rozliczania kosztów, takich jak rozliczanie ryczałtowe.
HORIZON-ERC - HORIZON ERC Grants
Wyświetl wszystkie projekty finansowane w ramach tego programu finansowania
Zaproszenie do składania wniosków
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
Procedura zapraszania wnioskodawców do składania wniosków projektowych w celu uzyskania finansowania ze środków Unii Europejskiej.
(odnośnik otworzy się w nowym oknie) ERC-2024-ADG
Wyświetl wszystkie projekty finansowane w ramach tego zaproszeniaInstytucja przyjmująca
Kwota netto dofinansowania ze środków Unii Europejskiej. Suma środków otrzymanych przez uczestnika, pomniejszona o kwotę unijnego dofinansowania przekazanego powiązanym podmiotom zewnętrznym. Uwzględnia podział unijnego dofinansowania pomiędzy bezpośrednich beneficjentów projektu i pozostałych uczestników, w tym podmioty zewnętrzne.
EH8 9YL Edinburgh
Zjednoczone Królestwo
Ogół kosztów poniesionych przez organizację w związku z uczestnictwem w projekcie. Obejmuje koszty bezpośrednie i pośrednie. Kwota stanowi część całkowitego budżetu projektu.