Projektbeschreibung
Aufdeckung der verborgenen Schwachstellen von KI
Zwar verändert künstliche Intelligenz unbestreitbar unsere Welt, allerdings können Schwächen in den Algorithmen Risiken bergen. Dazu zählen gezielte Angriffe und voreingenommene Ergebnisse. Das ERC-finanzierte Projekt NumAStAI hat zum Ziel, diese Schwachstellen durch numerische Analysen zu finden, zu messen und zu reduzieren. Die Forschung konzentriert sich auf das Verständnis wahrscheinlicher Angriffsszenarien, die Ermöglichung subtiler Änderungen und Korrekturen, die Bewertung von Risiken im Zusammenhang mit unterrepräsentierten Datenkategorien, die Aufdeckung kostengünstiger Angriffsstrategien, die Analyse von Fehlern aufgrund von ungenauen Berechnungen und die Erzielung eindeutiger Ergebnisse, die als Grundlage für die KI-Gesetzgebung dienen können. Durch die Kombination von Matrixanalysen, Optimierungen und probabilistischen Methoden zielt das Projekt darauf ab, die verborgenen Schwächen der KI aufzudecken und ihren ethischen, sicheren und zuverlässigen Einsatz zu ermöglichen. Letztendlich wird NumAStAI dazu beitragen, dass KI sowohl effektiv als auch vertrauenswürdig ist.
Ziel
From a numerical analysis perspective I will identify, quantify and mitigate vulnerabilities in current artificial intelligence (AI) algorithms.
Novel mathematical research will emerge along six overlapping axes:
Inevitability: rigorously understand the inescapable endgame of the attack-versus-defence paradigm. Under what conditions is it inevitable that adversaries will
succeed? Formalizing such conditions will allow us to understand and, where possible, overcome current AI instabilities.
Editability: study algorithms that stealthily change a small number of parameters. This scenario is highly pertitent when new AI is built on top of third-party, foundation models. It also opens up the
possibility of fixing errors on-the-fly without the need to re-train.
Targetability: examine whether under-represented categories in the training data are more susceptible to adversarial attacks. This topic raises a key,
and currently overlooked, issue in the ethical use of AI.
Universality: develop linear, sparse, low rank mappings that
create adversarial attacks. These new functions will expose novel, low-cost, threat
mechanisms, but will also give insights into the decision boundary landscape.
Roundability: use state-of-the art probabilistic rounding error analysis to
justify large-scale, low precision computations.
I will study (a) why current AI technologies appear to defy traditional worst-case
floating point error bounds, and (b) whether low precision can be exploited by
an adversary.
Legislatability: devise easy-to-interpret results and practical case studies that can inform public opinion and impact the design of appropriate AI legislation.
The project identifies high-profile open questions requiring tools from
matrix analysis, optimization, backward error analysis, condition number theory and
stochastic computation. Some of the proposed work is highly speculative and challenging,
but will significantly advance our understanding of AI vulnerabilities.
Wissenschaftliches Gebiet (EuroSciVoc)
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
CORDIS klassifiziert Projekte mit EuroSciVoc, einer mehrsprachigen Taxonomie der Wissenschaftsbereiche, durch einen halbautomatischen Prozess, der auf Verfahren der Verarbeitung natürlicher Sprache beruht. Siehe: Das European Science Vocabulary.
Dieses Projekt wurde noch nicht bei EuroSciVoc klassifiziert.
Schlagen Sie die Wissenschaftsbereiche vor, die Ihrer Einschätzung nach besonders relevant sind, und helfen Sie uns, unseren Klassifizierungsdienst zu verbessern.
Sie müssen sich anmelden oder registrieren, um diese Funktion zu nutzen
Schlüsselbegriffe
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Schlüsselbegriffe des Projekts, wie vom Projektkoordinator angegeben. Nicht zu verwechseln mit der EuroSciVoc-Taxonomie (Wissenschaftliches Gebiet).
Programm/Programme
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
Mehrjährige Finanzierungsprogramme, in denen die Prioritäten der EU für Forschung und Innovation festgelegt sind.
-
HORIZON.1.1 - European Research Council (ERC)
HAUPTPROGRAMM
Alle im Rahmen dieses Programms finanzierten Projekte anzeigen
Thema/Themen
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Aufforderungen zur Einreichung von Vorschlägen sind nach Themen gegliedert. Ein Thema definiert einen bestimmten Bereich oder ein Gebiet, zu dem Vorschläge eingereicht werden können. Die Beschreibung eines Themas umfasst seinen spezifischen Umfang und die erwarteten Auswirkungen des finanzierten Projekts.
Finanzierungsplan
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
Finanzierungsregelung (oder „Art der Maßnahme“) innerhalb eines Programms mit gemeinsamen Merkmalen. Sieht folgendes vor: den Umfang der finanzierten Maßnahmen, den Erstattungssatz, spezifische Bewertungskriterien für die Finanzierung und die Verwendung vereinfachter Kostenformen wie Pauschalbeträge.
HORIZON-ERC - HORIZON ERC Grants
Alle im Rahmen dieses Finanzierungsinstruments finanzierten Projekte anzeigen
Aufforderung zur Vorschlagseinreichung
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
Verfahren zur Aufforderung zur Einreichung von Projektvorschlägen mit dem Ziel, eine EU-Finanzierung zu erhalten.
(öffnet in neuem Fenster) ERC-2024-ADG
Alle im Rahmen dieser Aufforderung zur Einreichung von Vorschlägen finanzierten Projekte anzeigenGastgebende Einrichtung
Finanzieller Nettobeitrag der EU. Der Geldbetrag, den der Beteiligte erhält, abzüglich des EU-Beitrags an mit ihm verbundene Dritte. Berücksichtigt die Aufteilung des EU-Finanzbeitrags zwischen den direkten Begünstigten des Projekts und anderen Arten von Beteiligten, wie z. B. Dritten.
EH8 9YL Edinburgh
Vereinigtes Königreich
Die Gesamtkosten, die dieser Organisation durch die Beteiligung am Projekt entstanden sind, einschließlich der direkten und indirekten Kosten. Dieser Betrag ist Teil des Gesamtbudgets des Projekts.