C’è una scena che si ripete ogni giorno in un ospedale americano, in un tribunale tedesco, in un ufficio pubblico giapponese. Un medico osserva la lastra di un polmone. Sull’altro schermo, un sistema di intelligenza artificiale segnala in rosso una zona sospetta. Il medico annuisce, firma, prescrive. Non gli viene in mente che quel segnale rosso potrebbe essere un falso positivo, che l’algoritmo è stato addestrato su una popolazione diversa da quella del suo paziente, che magari la macchina ha visto un’ombra dove c’è solo una piega del tessuto.
Non è stupidità. È qualcosa di più profondo, e di più preoccupante. Si chiama automation bias, il pregiudizio di automazione, ed è la tendenza umana a sopravvalutare il responso della macchina anche quando i nostri sensi, la nostra esperienza, la nostra intelligenza ci suggerirebbero il contrario. Per decenni gli psicologi cognitivi lo hanno spiegato con formule semplici: troppa fiducia, poca attenzione, carico di lavoro eccessivo. Ma una revisione sistematica pubblicata ad aprile 2025 sulla rivista AI and Society – che ha passato al setaccio trentacinque studi peer-reviewed pubblicati tra gennaio 2015 e lo scorso mese – ci consegna un verdetto molto più inquietante. Il problema non è la quantità di fiducia che ripomiamo nell’intelligenza artificiale. È la qualità. E soprattutto è la nostra incapacità di reagire anche quando la macchina ci mostra le sue carte.
“Le prospettive tradizionali attribuiscono il bias di automazione alla fiducia eccessiva o ai vincoli di attenzione”, scrivono i ricercatori, “ma la nostra revisione presenta una visione più sfumata”. Il che, tradotto dal linguaggio asettico della scienza, significa: abbiamo capito tutto sbagliato.
La trappola della trasparenza
Prendiamo il caso di Sophie, un nome fittizio per una storia vera raccontata in uno studio del 2023 dell’Università di Stanford. Sophie è una radiologa con cinque anni di esperienza. Sta esaminando una mammografia. Il sistema di IA che affianca il suo lavoro segnala una microcalcificazione sospetta e spiega: “Rischio del 78% sulla base di pattern statistici rilevati in un campione di 50.000 casi simili”. Sophie non sa che quei 50.000 casi provenivano da un database americano, mentre la sua paziente è una donna asiatica con caratteristiche anatomiche diverse. La spiegazione, tecnicamente ineccepibile, la rassicura. Firma.
Il nodo è tutto qui. Da anni sentiamo parlare di XAI, l’Intelligenza Artificiale Spiegabile. L’idea è tanto semplice quanto ambiziosa: se l’algoritmo è una scatola nera, apriamola. Mostriamo all’utente come arriva alle sue conclusioni, quali dati usa, quali pesi attribuisce alle variabili. Così l’umano potrà controllare, dissentire, correggere.
Peccato che la realtà sia esattamente opposta. Lo studio che ho citato – una meta-analisi che incrocia psicologia cognitiva, neuroscienze, ingegneria dei fattori umani e interazione uomo-computer – dimostra che le spiegazioni, lungi dal mitigare il bias, spesso lo rafforzano. “Spiegazioni eccessivamente tecniche, cognitivamente esigenti o anche semplicistiche possono rafforzare inavvertitamente la fiducia fuori luogo”, scrivono gli autori. E aggiungono un dettaglio cruciale: questo accade “specialmente tra i professionisti meno esperti con una bassa alfabetizzazione IA”.
Tradotto: chi capisce poco di tecnologia, di fronte a una spiegazione complicata, alza le mani. “Sarà vero, non ci capisco nulla, ma chi sono io per dubitare?” Peggio ancora: le spiegazioni semplicistiche danno l’impressione che il processo sia lineare, trasparente, controllabile. In realtà nascondono la complessità sottostante. L’effetto finale è lo stesso: la mente si spegne, il giudizio si delega.
I fattori invisibili
La ricerca isola almeno sei variabili che interagiscono nel determinare il nostro asservimento cognitivo agli algoritmi. La prima è l’alfabetizzazione specifica sull’IA: non basta saper usare un computer, bisogna capire come funziona un modello predittivo, quali sono i suoi limiti epistemologici, dove si annidano i bias nei dati di addestramento. La seconda è la competenza professionale di base: paradossalmente, i principianti si fidano di più perché non hanno ancora sviluppato quel sesto senso che permette ai veterani di fiutare l’errore. La terza è il profilo cognitivo individuale: c’è chi è portato per natura al dubbio e chi alla deferenza verso l’autorità (e la macchina, per molti, è l’autorità suprema).
Poi vengono le dinamiche di fiducia nel tempo: un sistema che ha funzionato bene cento volte di fila induce una fiducia inerziale difficile da scalfire anche quando comincia a sbagliare. Le richieste di verifica del compito: se il professionista è sovraccarico, la tentazione di appoggiarsi alla macchina diventa irresistibile. Infine la complessità della spiegazione: troppo semplice inganna, troppo complessa spaventa, nel mezzo c’è una terra di nessuno che quasi nessuno sa abitare.
Il risultato è che “le spiegazioni possono aumentare l’accettabilità percepita del sistema, ma sono spesso insufficienti per migliorare l’accuratezza delle decisioni o mitigare il bias”. In altre parole: la gente dice di gradire le spiegazioni, si sente più sicura, ma continua a sbagliare con la stessa frequenza. Peggio: qualche volta sbaglia di più, perché la spiegazione funge da stampella psicologica che giustifica l’inerzia intellettuale.
Il caso clinico dell’emergenza
Prendiamo un esempio concreto, raccontato in uno studio del 2024 dell’Università di Monaco sui reparti di emergenza. Un triage nurse deve decidere se un paziente con dolore toracico va visitato subito o può attendere. Il sistema di IA suggerisce “codice giallo” e spiega: “Frequenza cardiaca nei limiti, assenza di marcatori infiammatori, anamnesi negativa per eventi cardiaci pregressi”. L’infermiera, giovane, con sei mesi di esperienza in quel reparto, accetta. Non nota che il paziente ha appena compiuto settant’anni e che la frequenza cardiaca “nei limiti” è di 92 battiti, un po’ alta per la sua età. La macchina non glielo ha detto. Lei non glielo ha chiesto.
L’esempio è volutamente banale, ma illumina il cuore del problema. Il problema non è la macchina. Il problema è che la macchina, offrendo una spiegazione parziale, ha chiuso il cerchio cognitivo invece di aprirlo. Ha fornito una risposta, non ha sollevato domande. Ha dato certezze, non ha stimolato dubbi.
L’unica via d’uscita: la fatica di pensare
E qui arriviamo alla conclusione forse più importante della revisione sistematica. Dopo aver passato in rassegna decine di studi, dopo aver misurato l’effetto di decine di variabili, i ricercatori individuano un punto di intervento che definiscono “il più fattibile e di impatto”. Non è la tecnologia. Non è la trasparenza. È il coinvolgimento attivo dell’utente.
Lo dicono con il linguaggio asciutto della scienza: “È stato dimostrato che un aumento dello sforzo di verifica riduce la compiacenza verso le raccomandazioni dell’IA”. Tradotto: se obblighi il professionista a fare uno sforzo in più, se gli chiedi di motivare perché accetta o rifiuta il suggerimento dell’algoritmo, se gli richiedi di documentare il suo controllo incrociato, la mente si riaccende. La passività lascia il posto all’analisi. La delega si trasforma in confronto.
Non è una questione di buona volontà. È una questione di architettura dei sistemi. I ricercatori propongono “strategie di progettazione delle spiegazioni che promuovono attivamente l’impegno critico e la verifica indipendente”. In parole povere: le spiegazioni non devono dare risposte, devono sollevare domande. Non devono chiudere il caso, devono aprirlo. Devono essere comprensibili sì, ma soprattutto devono essere provocatorie. Devono costringere l’utente a uscire dalla comoda posizione di chi riceve un verdetto per entrare in quella scomoda di chi deve formulare un giudizio.
Sara Vecchi & Roosteram
