Descripción del proyecto
Identificar las vulnerabilidades ocultas de la inteligencia artificial
Si bien la inteligencia artificial (IA) está cambiando nuestro mundo, las vulnerabilidades en los algoritmos pueden generar riesgos. Esto incluye ataques de adversarios y resultados sesgados. El equipo del proyecto NumAStAI, financiado por el CEI, tiene como objetivo encontrar, medir y reducir estas vulnerabilidades mediante el análisis numérico. La investigación se centra en comprender los posibles escenarios de ataque, permitir ediciones y correcciones sutiles, evaluar los riesgos para las categorías de datos subrepresentadas, exponer estrategias adversarias de bajo coste, analizar los errores de los cálculos de baja precisión y producir resultados claros para orientar la legislación sobre la IA. Mediante la combinación de análisis de matrices, optimización y métodos probabilísticos, en el proyecto se busca descubrir las debilidades ocultas de la IA y mejorar su despliegue ético, seguro y fiable. En definitiva, en NumAStAI se ayudará a garantizar que la IA sea eficaz y fiable.
Objetivo
From a numerical analysis perspective I will identify, quantify and mitigate vulnerabilities in current artificial intelligence (AI) algorithms.
Novel mathematical research will emerge along six overlapping axes:
Inevitability: rigorously understand the inescapable endgame of the attack-versus-defence paradigm. Under what conditions is it inevitable that adversaries will
succeed? Formalizing such conditions will allow us to understand and, where possible, overcome current AI instabilities.
Editability: study algorithms that stealthily change a small number of parameters. This scenario is highly pertitent when new AI is built on top of third-party, foundation models. It also opens up the
possibility of fixing errors on-the-fly without the need to re-train.
Targetability: examine whether under-represented categories in the training data are more susceptible to adversarial attacks. This topic raises a key,
and currently overlooked, issue in the ethical use of AI.
Universality: develop linear, sparse, low rank mappings that
create adversarial attacks. These new functions will expose novel, low-cost, threat
mechanisms, but will also give insights into the decision boundary landscape.
Roundability: use state-of-the art probabilistic rounding error analysis to
justify large-scale, low precision computations.
I will study (a) why current AI technologies appear to defy traditional worst-case
floating point error bounds, and (b) whether low precision can be exploited by
an adversary.
Legislatability: devise easy-to-interpret results and practical case studies that can inform public opinion and impact the design of appropriate AI legislation.
The project identifies high-profile open questions requiring tools from
matrix analysis, optimization, backward error analysis, condition number theory and
stochastic computation. Some of the proposed work is highly speculative and challenging,
but will significantly advance our understanding of AI vulnerabilities.
Ámbito científico (EuroSciVoc)
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
CORDIS clasifica los proyectos con EuroSciVoc, una taxonomía plurilingüe de ámbitos científicos, mediante un proceso semiautomático basado en técnicas de procesamiento del lenguaje natural. Véas: El vocabulario científico europeo..
Este proyecto aún no se ha clasificado con EuroSciVoc.
Sugiera los ámbitos científicos que considere más relevantes y ayúdenos a mejorar nuestro servicio de clasificación.
Para utilizar esta función, debe iniciar sesión o registrarse
Palabras clave
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Palabras clave del proyecto indicadas por el coordinador del proyecto. No confundir con la taxonomía EuroSciVoc (Ámbito científico).
Programa(s)
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
Programas de financiación plurianuales que definen las prioridades de la UE en materia de investigación e innovación.
-
HORIZON.1.1 - European Research Council (ERC)
PROGRAMA PRINCIPAL
Ver todos los proyectos financiados en el marco de este programa
Tema(s)
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Las convocatorias de propuestas se dividen en temas. Un tema define una materia o área específica para la que los solicitantes pueden presentar propuestas. La descripción de un tema comprende su alcance específico y la repercusión prevista del proyecto financiado.
Régimen de financiación
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
Régimen de financiación (o «Tipo de acción») dentro de un programa con características comunes. Especifica: el alcance de lo que se financia; el porcentaje de reembolso; los criterios específicos de evaluación para optar a la financiación; y el uso de formas simplificadas de costes como los importes a tanto alzado.
HORIZON-ERC - HORIZON ERC Grants
Ver todos los proyectos financiados en el marco de este régimen de financiación
Convocatoria de propuestas
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
Procedimiento para invitar a los solicitantes a presentar propuestas de proyectos con el objetivo de obtener financiación de la UE.
(se abrirá en una nueva ventana) ERC-2024-ADG
Ver todos los proyectos financiados en el marco de esta convocatoriaInstitución de acogida
Aportación financiera neta de la UE. Es la suma de dinero que recibe el participante, deducida la aportación de la UE a su tercero vinculado. Considera la distribución de la aportación financiera de la UE entre los beneficiarios directos del proyecto y otros tipos de participantes, como los terceros participantes.
EH8 9YL Edinburgh
Reino Unido
Los costes totales en que ha incurrido esta organización para participar en el proyecto, incluidos los costes directos e indirectos. Este importe es un subconjunto del presupuesto total del proyecto.