I test di rischio mettono in luce i difetti nascosti dell’IA generativa
L’intelligenza artificiale generativa può classificare i candidati, rispondere alle domande dei clienti o aiutare le decisioni interne. Questa velocità è utile, ma risulta rischiosa quando lo stesso sistema si comporta in modo diverso dopo l’introduzione di piccoli cambiamenti di formulazione, linguaggio o contesto. Le aziende devono trovare gli errori e dimostrare attraverso prove concrete che i rischi sono stati testati e gestiti. Il progetto QuantPi(si apre in una nuova finestra), finanziato dal CEI, ha sviluppato una piattaforma per la gestione del rischio per l’intelligenza artificiale generativa. La sua tecnologia PiCrystal crea automaticamente suite di test, verifica il comportamento dei modelli e trasforma i risultati in documentazione e prove pronte da usare per le ispezioni, in base a norme come il regolamento sull’IA dell’Unione europea(si apre in una nuova finestra).
I test di rischio dell’IA rivelano un comportamento instabile e pregiudizievole
Il primo problema che emerge non è spesso eclatante, ma piuttosto un’incoerenza di fondo. Come spiega Lukas Bieringer, responsabile delle politiche e delle sovvenzioni di QuantPi, «si tratta tipicamente di un comportamento incoerente o instabile in presenza di una variazione realistica degli input: la stessa classe di prompt produce risultati molto diversi a seconda della formulazione, del linguaggio o del contesto.» Questo aspetto è importante, perché uno strumento di IA generativa può apparire affidabile in un parametro di riferimento semplice, ma generare errori se gli utenti reali formulano le richieste in modo diverso. Possono quindi emergere pregiudizi e divari di equità, soprattutto quando le prestazioni dei sottogruppi appaiono accettabili nei risultati medi, ma si riducono all’interno di gruppi specifici. Durante una prova di valore è stato valutato un sistema di raccomandazione dei candidati basato su modelli linguistici di grandi dimensioni sulla piattaforma di reclutamento Stepstone e attraverso TÜV AI.Lab un laboratorio di garanzia dell’IA. È emerso che i test dell’IA relativi all’occupazione necessitano di set di dati sufficientemente ampi e rappresentativi per poter aiutare a svolgere i test intersezionali, dove le caratteristiche sovrapposte possono essere verificate piuttosto che nascoste all’interno di medie generali.
Un’unica base di prove per gli utenti di ambito tecnico e legale e per i consigli di amministrazione
L’approccio di QuantPi separa le evidenze scientifiche dalla presentazione. Un data scientist potrebbe aver bisogno di risultati di test dettagliati in base alle metriche, ai sottogruppi e agli scenari. Un esperto legale, invece, ha bisogno di collegamenti alle clausole normative e alle norme, mentre i responsabili della governance devono poter visualizzare tutti i sistemi in una panoramica. Infine, le figure con potere decisionale nei CdA hanno bisogno di alcuni indicatori di rischio residuo senza errori di precisione. Bieringer riassume chiaramente l’approccio proposto: «Il principio chiave della progettazione è che tutte le visualizzazioni devono derivare dalla stessa base di prove statistiche, in modo che un’affermazione di un CdA possa sempre essere ricondotta a un risultato specifico del test.» Questa tracciabilità è importante perché le decisioni sul rischio coinvolgono più gruppi di lavoro, ognuno dei quali ha bisogno di una visualizzazione in linea con le proprie responsabilità.
Il monitoraggio continuo mantiene aggiornate le evidenze dell’IA
Tuttavia, i test automatici non eliminano il giudizio umano. Le persone hanno ancora potere decisionale sull’uso previsto del sistema, scelgono quali definizioni di equità o sicurezza applicare, stabiliscono le soglie di accettazione e decidono se distribuire, ritardare o ritirare un sistema. L’automazione misura il rischio, mentre le persone responsabili decidono quale livello di rischio è accettabile. Il monitoraggio viene quindi attivato quando l’evidenza del rischio cambia. Un aggiornamento del modello, un prompt modificato, un nuovo indice di recupero, un set di strumenti modificato o una variazione dei dati a monte possono invalidare i test precedenti. Anche la deriva degli input, la deriva degli output e la modifica delle regole o delle politiche interne possono portare alla necessità di una nuova valutazione. Per molte aziende, l’ostacolo più grande oggi rimasto non è la consapevolezza delle regole. Bieringer lo spiega in modo diretto: «Quello che non possono fare è produrre prove tecniche di conformità che reggano di fronte a un organismo notificato o a un ente di ispezione, in particolare per i sistemi generativi, dove i tradizionali rapporti di benchmark sono insufficienti e mancano ad oggi norme armonizzate.» La piattaforma QuantPi colma questa lacuna, convertendo i test tecnici in prove che i diversi gruppi di lavoro possono usare prima e dopo la distribuzione.
