Descripción del proyecto
Marco de confianza para la evaluación de riesgos de la IA
El panorama de la IA requiere un marco integral para abordar las amenazas y vulnerabilidades, pero carece de un sistema para gestionar las debilidades en la cadena de suministro de IA. El equipo del proyecto CoEvolution, financiado con fondos europeos, desarrolla una solución integrada de evaluación de seguridad, confianza y robustez (STR, por sus siglas en inglés) que combina modelos de IA con conocimiento del contexto y una lista de materiales de modelos de IA (AIMBOM, por sus siglas en inglés). El proyecto tiene como objetivo establecer un centro universal de evaluación de riesgos STR y garantía de seguridad alineado con los marcos reglamentarios de la Unión Europea (UE). En esta iniciativa se introducen descripciones nuevas de modelos de IA y monitoreo de seguridad para garantizar el cumplimiento de las directivas de la UE sobre la confianza, equidad, gobernanza de datos y pautas del RGPD. Los conjuntos de datos confiables de código abierto y los modelos de IA desarrollados por el equipo de CoEvolution mejorarán la capacidad del centro para abordar las amenazas cambiantes de la ciberseguridad de la IA.
Objetivo
The contemporary AI landscape demands a holistic framework ensuring security across the supply chain and entire AI lifecycle. Despite existing adversarial attack techniques, a comprehensive end-to-end flow for identifying threats and vulnerabilities with associated risks is lacking. The EU, through initiatives like the AI Act, emphasizes safety and trustworthiness in AI applications but lacks a system managing weaknesses in a networked AI-supply chain. The CoEvolution project integrates its architecture components to create an end-to-end Security, Trust, and Robustness (STR) assessment solution, generating context-aware AI models characterized by their AI Model Bill of Materials (AIMBOM). The goal is a universal hub providing a coherent STR risk assessment and security assurance flow, aligning with MLDevOps and EU AI regulatory frameworks. The paradigm includes novel AI model descriptions, AIMBOM management, security monitoring, and context awareness. CoEvolution introduces a new STR paradigm based on Bills-of-Materials, offering a unified approach to describing AI models in supply chains, ensuring STR compliance with EU directives on trust, fairness, data governance, and GDPR guidelines. Open source trusted datasets and CoEvolution-developed AI models enhance the hub's capabilities, aiming for a robust, adaptable risk analysis and security assessment framework aligned with evolving AI cybersecurity threats.
Ámbito científico
Palabras clave
Programa(s)
Régimen de financiación
HORIZON-RIA - HORIZON Research and Innovation ActionsCoordinador
106 82 ATHINA
Grecia