Chi risponde di un errore dell’IA? Il ruolo del collaboratore, del team e dell’azienda

Perché una risposta errata dell’IA può sembrare credibile

Il team prepara un’offerta e il modello linguistico indica tre fonti dettagliate. Sono citate correttamente, con autori e date. Solo il cliente si accorge che una delle pubblicazioni non esiste. Il problema non è solo l’«allucinazione» del modello. Conta anche il fatto che frasi dal tono sicuro e la struttura familiare del documento hanno reso più facile accettare la risposta senza verificarla. È facile giudicare l’attendibilità di un’informazione dalla sola forma, anche se la forma non conferma i fatti.

Goddard e coautori hanno descritto, in una rassegna della letteratura, la tendenza a fare eccessivo affidamento sui suggerimenti dei sistemi automatici. Gran parte delle analisi riguardava la medicina e i sistemi di supporto decisionale meno recenti, per cui non si dovrebbero trasferire meccanicamente i risultati a tutti i modelli generativi. Il meccanismo resta però utile: anche uno specialista competente può smettere di cercare l’errore quando il suggerimento è presentato in modo convincente e il tempo è poco. Per questo la sola frase «ma l’abbiamo verificato» non basta, se non si specifica che cosa è stato effettivamente verificato.

Perché la responsabilità non ricade solo su chi approva

Un documento può passare per più mani. La prima persona sceglie lo strumento e i dati, la seconda redige il testo, la terza controlla i numeri, la quarta firma l’offerta definitiva. Se in azienda i ruoli non sono stati definiti, dopo l’errore ognuno indicherà il vicino. «Pensavo che lo verificasse l’ufficio analisi» si scontrerà con «io valutavo solo la lingua». La responsabilità legale va valutata a parte, ma le cause organizzative dell’errore si possono individuare subito.

Aiuta separare quattro domande: chi poteva usare lo strumento, chi rispondeva della veridicità dei dati, chi aveva il diritto di bloccare l’invio e chi doveva garantire le condizioni per il controllo. Il collaboratore che compie l’ultimo passaggio può avere un dovere di diligenza, ma l’azienda può allo stesso tempo rispondere di una procedura difettosa. Non è giustificato scaricare automaticamente tutta la colpa sulla persona che ha avuto meno voce in capitolo sul modo di lavorare. Altrettanto sbagliato sarebbe affermare che, siccome «l’IA ha sbagliato», nessuno è più tenuto a trarre insegnamenti.

Due esempi mostrano la differenza tra l’uso di uno strumento e il controllo

Nel noto caso statunitense Mata contro Avianca, i legali hanno depositato un atto contenente sentenze inesistenti generate con l’aiuto dell’IA. Il tribunale ha inflitto sanzioni. È un esempio di mancata verifica delle fonti citate, non la prova che ogni errore del modello generi automaticamente la stessa responsabilità. In un’azienda polacca un problema più quotidiano potrebbe essere l’invio a un cliente di un’offerta con condizioni di pagamento errate, perché nessuno ha confrontato il testo con la tabella approvata.

Immaginiamo due team. Nel primo il controllo consiste in tre minuti di lettura sommaria del report generato. Nel secondo chi controlla ha un elenco di campi da verificare, l’accesso ai dati originali e il diritto di rimandare indietro il documento per la correzione. In entrambi i team una persona verifica il risultato, ma solo nel secondo ha la possibilità reale di contestarlo. La conclusione non è creare una grande burocrazia per ogni messaggio, ma calibrare il controllo sul peso della decisione e sul rischio di errore.

Che cosa dicono le norme sull’IA in materia di sorveglianza e che cosa non stabiliscono

Il Regolamento europeo sull’IA (AI Act) definisce, tra l’altro, i requisiti di sorveglianza umana sui sistemi classificati ad alto rischio e gli obblighi dei soggetti che li utilizzano. Le norme distinguono le categorie di utilizzo e le date di applicazione dei singoli requisiti. Non si dovrebbe quindi sostenere che ogni conversazione aziendale con un chatbot sia soggetta a un regime identico né che l’AI Act stabilisca da solo chi risponde personalmente di ogni danno.

In pratica il manager dovrebbe verificare quale sistema usa l’azienda, a che cosa è destinato e quali regole derivano dalle normative, dai contratti e dalle procedure applicabili. Negli utilizzi che riguardano la salute, l’occupazione o diritti umani fondamentali, la posta in gioco e gli obblighi sono diversi rispetto alla stesura di una nota neutra. Per il team la cosa più importante è che la decisione di usare lo strumento abbia un responsabile e che chi verifica abbia competenze, tempo e il diritto di dire «questo risultato non lo approvo».

Come definire i controlli prima che il materiale esca dall’azienda

Vale la pena preparare una breve matrice delle responsabilità. Per ogni processo annotiamo: l’uso consentito dell’IA, i dati di input, gli elementi di controllo obbligatori, la persona che approva e il modo di segnalare un problema. Per un report numerico sarà fondamentale confrontare i valori con il sistema di origine. Per un testo giuridico, verificare le norme su una fonte aggiornata. Per un’informazione medica, un’adeguata verifica dei contenuti da parte di una persona abilitata. Lo strumento di IA non sostituisce questa verifica.

Una matrice del genere non serve a individuare il futuro colpevole. Deve facilitare le decisioni e fermare gli errori. Se un collaboratore scopre che lo strumento ha inventato una fonte, deve sapere a chi segnalarlo, senza temere di essere punito per aver interrotto il lavoro. Il manager dovrebbe anche verificare se, sotto la pressione delle scadenze, non stia chiedendo al team un controllo materialmente impossibile da svolgere. La responsabilità senza condizioni adeguate diventa una semplice dichiarazione.

Come parlare dopo un errore perché il prossimo venga segnalato prima

Quando un errore viene alla luce, la prima domanda dovrebbe essere: «Come ne limitiamo gli effetti?». Solo dopo conviene ricostruire la sequenza degli eventi. Invece di iniziare con «Chi se l’è lasciato sfuggire?», il manager può dire: «Nel documento sono comparsi numeri sbagliati. Verifichiamo da dove sono stati presi, quali controlli abbiamo fatto e dove il processo ha smesso di funzionare». Questo modo di condurre la conversazione non significa tollerare le negligenze. Permette di distinguere tra un compito poco chiaro, un controllo insufficiente e il mancato rispetto consapevole degli accordi.

Dopo l’analisi deve arrivare una decisione: correggiamo le istruzioni, aggiungiamo un controllo, limitiamo l’utilizzo oppure formiamo il team. Stabilisci anche chi informerà i destinatari della correzione ed entro quando. Se in precedenza un collaboratore aveva segnalato il rischio, il manager dovrebbe tenerne conto. Il team nota in fretta se ammettere un errore porta all’apprendimento o solo alla ricerca di un capro espiatorio. Da questa reazione dipende se il prossimo errore verrà rivelato per tempo.

Dietro le conseguenze di un errore dell’IA ci sono sia le decisioni degli utenti sia l’organizzazione del processo. Bisogna stabilire chi verifica le informazioni, che cosa controlla esattamente e se ha le condizioni per un controllo efficace. Dopo un errore si riparano prima le conseguenze, poi si accertano le responsabilità e si cambia la procedura che ha permesso all’errore di passare.

Come Empatyzer supporta una conversazione difficile dopo un errore che coinvolge l’IA

Dopo l’invio di un’offerta sbagliata, il manager può descrivere a Em i fatti: che cosa è stato prodotto con l’IA, chi doveva controllare il documento, quali erano gli accordi e che cosa ha detto il cliente. Em aiuterà a preparare un incontro in cui le persone non dovranno difendersi da una presunzione di colpa, ma nemmeno potranno evitare di parlare dei propri obblighi. Con Em si possono formulare domande che separano i fatti dalle valutazioni, esercitarsi a reagire alla frase «ma facevano tutti così» e preparare un feedback chiaro. Se i partecipanti fanno parte della stessa organizzazione, i consigli sulla relazione, se disponibili, aiutano ad adattare il linguaggio ai diversi modi di reagire alle critiche e all’incertezza; non danno però accesso alle diagnosi private altrui. Nel contesto del team, Em può aiutare a pianificare la discussione dell’incidente e il modo di presentare le nuove regole di collaborazione. Così il manager arriva alla riunione non solo con un elenco di domande sui colpevoli, ma con un piano per correggere gli errori, una chiara ripartizione delle responsabilità e un modo per incoraggiare a segnalare prima i problemi.