Valutare un assistente AI significa misurare come si comporta su un compito definito, comprese le situazioni in cui dovrebbe fermarsi. Una risposta convincente a una singola domanda non basta per affidargli un processo aziendale. La decisione richiede esempi rappresentativi, criteri di qualità e una responsabilità chiara sugli esiti.
Definire il compito e il suo confine
Il NIST AI Risk Management Framework è un quadro volontario per affrontare i rischi lungo il ciclo di vita dei sistemi AI. Il profilo dedicato all’AI generativa approfondisce rischi e azioni pertinenti a questa famiglia di tecnologie. Sono riferimenti per organizzare il lavoro, non certificazioni automatiche di un prodotto o garanzie di conformità normativa.
La prima scelta concreta è delimitare il compito. “Aiutare l’assistenza clienti” comprende molte attività diverse. “Preparare una bozza di risposta usando soltanto la documentazione approvata” è più verificabile. Bisogna poi esplicitare ciò che l’assistente non può fare: inventare condizioni, accedere a dati non necessari o inviare comunicazioni senza il controllo previsto.
Costruire un insieme di casi di prova
Proponiamo di raccogliere richieste tipiche, casi ambigui e richieste fuori perimetro, rimuovendo i dati personali non necessari. Ogni caso deve avere un esito atteso o una regola di valutazione. Alcuni dovrebbero richiedere una risposta; altri una domanda di chiarimento; altri ancora il passaggio a una persona.
Separare i casi usati per migliorare il sistema da quelli destinati alla verifica aiuta a capire se il risultato si estende a situazioni nuove. Riutilizzare sempre gli stessi esempi può produrre un’impressione di affidabilità che dipende soltanto dall’adattamento a quel piccolo insieme.
Misurare anche il lavoro di correzione
La velocità della prima risposta è soltanto una parte del costo operativo. Occorre osservare quanto tempo serve per controllarla, correggerla e gestire gli errori sfuggiti alla revisione. Un testo generato rapidamente può essere poco conveniente se richiede un controllo più lungo della scrittura manuale.
- Accuratezza: le affermazioni sono sostenute dalle fonti previste?
- Completezza: manca un passaggio necessario per il compito?
- Limiti: il sistema riconosce quando non ha informazioni sufficienti?
- Revisione: quante correzioni sono necessarie e di quale gravità?
- Operatività: chi interviene quando il servizio non risponde?
Un pilota deve poter essere fermato
Prima dell’avvio, il gruppo dovrebbe concordare quali risultati consentono di proseguire e quali impongono una revisione. Le soglie dipendono dalle conseguenze dell’errore: un suggerimento interno e una comunicazione che modifica un impegno verso un cliente non hanno lo stesso impatto. Una media positiva non compensa automaticamente un errore raro ma grave.
Un esempio ipotetico è un assistente che riassume documenti interni. Il test deve includere documenti incompleti o contraddittori, non soltanto casi facili. Se il sistema colma i vuoti con dettagli plausibili, il problema è osservabile e può diventare una condizione di arresto del pilota.
Controllare anche dopo l’adozione
Modelli, documentazione e processi cambiano. Per MAKERS TODAY, l’adozione dell’AI richiede quindi una verifica ripetibile dopo i cambiamenti rilevanti e un referente che segua gli errori. La domanda utile è quale parte del lavoro possiamo affidare al sistema con evidenze sufficienti, mantenendo visibili responsabilità e limiti.
