Las pruebas de riesgo de la inteligencia artificial revelan fallos ocultos en la inteligencia artificial generativa
Con la IAG se pueden clasificar los candidatos, responder las preguntas de los clientes o apoyar la toma de decisiones internas. Esa rapidez es útil, pero arriesgada cuando el mismo sistema se comporta de forma diferente tras cambios pequeños en la redacción, el lenguaje o el contexto. Las empresas deben encontrar los fallos y demostrar con pruebas que los riesgos se han probado y gestionado. El equipo del proyecto QuantPi(se abrirá en una nueva ventana), financiado por el Consejo Europeo de Innovación, desarrolló una plataforma para la gestión de riesgos mediante IAG. Su tecnología PiCrystal crea automáticamente conjuntos de pruebas, comprueba el comportamiento de los modelos y convierte los resultados en documentación y pruebas listas para las auditorías vinculadas a normas como el Reglamento de Inteligencia Artificial de la Unión Europea(se abrirá en una nueva ventana).
Las pruebas de riesgo de la IA revelan comportamientos inestables y sesgos
El primer problema que se pone de manifiesto no suele ser llamativo, sino más bien una incoherencia básica. Como explica Lukas Bieringer, responsable de Políticas y Subvenciones de QuantPi: «Suele tratarse de un comportamiento incoherente o inestable ante una variación realista de las entradas, es decir, la misma clase de pregunta produce resultados materialmente diferentes según la redacción, el lenguaje o el contexto». Esto es importante porque una herramienta de IAG puede parecer fiable en una simple prueba comparativa, pero fallar cuando los usuarios reales formulan las solicitudes de forma diferente. Pueden surgir entonces sesgos y lagunas de equidad, especialmente cuando el rendimiento de un subgrupo parece aceptable en los resultados medios, pero se desbarata dentro de grupos específicos. En un caso de prueba de valor se evaluó un gran sistema de recomendación de candidatos basado en modelos lingüísticos en la plataforma de contratación Stepstone y a través de TÜV AI.Lab un laboratorio de garantía de IA. La lección aprendida fue que las pruebas de IA relacionadas con el empleo necesitan conjuntos de datos lo suficientemente amplios y representativos como para permitir la realización de pruebas interseccionales, en las que se comprueben las características coincidentes en lugar de ocultarlas en medias generales.
Una base empírica para usuarios técnicos, jurídicos y directivos
El método de QuantPi separa las pruebas de la presentación. Un científico de datos puede necesitar resultados detallados de las pruebas por métrica, subgrupo y escenario. Un experto jurídico necesita enlaces a las cláusulas reglamentarias y normas. El responsable de la gobernanza debe tener una visión integral de todos los sistemas. Un responsable de la toma de decisiones a nivel directivo necesita unos pocos indicadores de riesgo residual sin falsa precisión. Bieringer resume claramente el método: «El principio clave del diseño es que todas las opiniones deben derivarse de la misma base de pruebas estadísticas, de modo que una declaración a nivel de la junta directiva siempre pueda rastrearse hasta un resultado de prueba específico». Esta trazabilidad es importante porque las decisiones sobre riesgos implican a varios equipos, cada uno de los cuales necesita una visión que se ajuste a sus responsabilidades.
El seguimiento continuo mantiene actualizadas las pruebas de la IA
Las pruebas automatizadas no eliminan el juicio humano. Las personas siguen definiendo el uso previsto del sistema, eligen qué definiciones de equidad o seguridad se aplican, fijan umbrales de aceptación y deciden si desplegar, retrasar o retirar un sistema. La automatización mide el riesgo; las personas responsables deciden qué nivel de riesgo es aceptable. Por lo tanto, la supervisión se activa cuando cambian las pruebas de riesgo. Una actualización del modelo, una indicación revisada, un nuevo índice de recuperación, un conjunto de herramientas modificado o un cambio en los datos anteriores pueden invalidar las pruebas anteriores. El cambio en las entradas o salidas y la variación de las normas o políticas internas también pueden exigir una reevaluación. Para muchas empresas, el mayor obstáculo que queda por superar no es el conocimiento de las normas. Bieringer es sincero al respecto: «Lo que no pueden hacer es presentar pruebas técnicas de conformidad que se sostengan ante un organismo notificado o un auditor, sobre todo en el caso de los sistemas generativos, donde los informes de referencia tradicionales son insuficientes y faltan normas armonizadas hasta la fecha». La plataforma de QuantPi aborda esa carencia convirtiendo las pruebas técnicas en pruebas que los distintos equipos pueden utilizar antes y después de la puesta en marcha.
