Numerical Analysis for Stable AI

Descripción del proyecto

Identificar las vulnerabilidades ocultas de la inteligencia artificial

Si bien la inteligencia artificial (IA) está cambiando nuestro mundo, las vulnerabilidades en los algoritmos pueden generar riesgos. Esto incluye ataques de adversarios y resultados sesgados. El equipo del proyecto NumAStAI, financiado por el CEI, tiene como objetivo encontrar, medir y reducir estas vulnerabilidades mediante el análisis numérico. La investigación se centra en comprender los posibles escenarios de ataque, permitir ediciones y correcciones sutiles, evaluar los riesgos para las categorías de datos subrepresentadas, exponer estrategias adversarias de bajo coste, analizar los errores de los cálculos de baja precisión y producir resultados claros para orientar la legislación sobre la IA. Mediante la combinación de análisis de matrices, optimización y métodos probabilísticos, en el proyecto se busca descubrir las debilidades ocultas de la IA y mejorar su despliegue ético, seguro y fiable. En definitiva, en NumAStAI se ayudará a garantizar que la IA sea eficaz y fiable.

Objetivo

From a numerical analysis perspective I will identify, quantify and mitigate vulnerabilities in current artificial intelligence (AI) algorithms.
Novel mathematical research will emerge along six overlapping axes:

Inevitability: rigorously understand the inescapable endgame of the attack-versus-defence paradigm. Under what conditions is it inevitable that adversaries will
succeed? Formalizing such conditions will allow us to understand and, where possible, overcome current AI instabilities.

Editability: study algorithms that stealthily change a small number of parameters. This scenario is highly pertitent when new AI is built on top of third-party, foundation models. It also opens up the
possibility of fixing errors on-the-fly without the need to re-train.

Targetability: examine whether under-represented categories in the training data are more susceptible to adversarial attacks. This topic raises a key,
and currently overlooked, issue in the ethical use of AI.

Universality: develop linear, sparse, low rank mappings that
create adversarial attacks. These new functions will expose novel, low-cost, threat
mechanisms, but will also give insights into the decision boundary landscape.

Roundability: use state-of-the art probabilistic rounding error analysis to
justify large-scale, low precision computations.
I will study (a) why current AI technologies appear to defy traditional worst-case
floating point error bounds, and (b) whether low precision can be exploited by
an adversary.

Legislatability: devise easy-to-interpret results and practical case studies that can inform public opinion and impact the design of appropriate AI legislation.

The project identifies high-profile open questions requiring tools from
matrix analysis, optimization, backward error analysis, condition number theory and
stochastic computation. Some of the proposed work is highly speculative and challenging,
but will significantly advance our understanding of AI vulnerabilities.

Ámbito científico (EuroSciVoc)

Este proyecto aún no se ha clasificado con EuroSciVoc.
Sugiera los ámbitos científicos que considere más relevantes y ayúdenos a mejorar nuestro servicio de clasificación.