Ci sono momenti in cui gli assistenti virtuali come Siri, Google Assistant o ChatGPT forniscono risposte bizzarre o completamente fuori contesto. In questo post, esploreremo le cause di questi comportamenti inaspettati delle IA Generative: le allucinazioni!
Vi siete mai chiesti perché ChatGPT, o qualunque delle IA Generative in circolazione, a volte danno risposte che sembrano essere frutto dell'influenza di sostanze psicotrope?
Ad esempio, chiedete
D: "Quale è il piatto tradizionale italiano più famoso?" R: "Il piatto tradizionale italiano più famoso è il sushi".
Potrebbe accadere qualcosa di meno ovvio (per chi non ha studiato geografia)
D: "Quale è il più grande oceano del mondo?" R: "L’Oceano Atlantico"
Oppure potreste essere consigliati di assumere benzodiazepine per sconfiggere l'insonnia, ricavandone una bella dipendenza e un sacco di effetti collaterali, o avere informazioni errate per i vostri progetti scolastici o lavorativi.
Insomma, se non conoscete l'argomento delle risposte, vi potreste far male!
Le IA vengono viste come una scatola nera da molti, una scatola nera che piano piano dobbiamo scoprire. Citando il grande Douglas Adams, che probabilmente tutti conoscerete:
“Abbraccia la paura, scopri la saggezza delle intelligenze artificiali.
Una frase che racchiude in sé la bellezza della scoperta e che, sicuramente, avrete sentito almeno una volta. Peccato che si tratti di una completa allucinazione: Douglas Adams è l’autore di “Guida Galattica per Autostoppisti” ed è stata generata, dietro mia esplicita richiesta, da "Cheat-GPT", cui ho chiesto di attribuirla a lui.
Capite che, chiedendo informazioni sulle quali siamo ignoranti, rischiamo di lasciarci raccontare qualunque cosa e bercela come provenisse dalla fonte più autorevole dell'universo? O quanto si possano divertire i creatori di fake news?
Confusi? Non siete i soli. In molti, sul blog e off-line, me l'avete chiesto più volte, così inizieremo un viaggio in due parti attraverso le allucinazioni delle IA Generative. Nella prima parte per capire cosa sono e da dove nascono; nella seconda, per capire come provare a gestirle.
Cos'è un Large Language Model?
Per comprendere in pieno le allucinazioni è necessario un piccolo passo indietro per acquisire un minimo di dimestichezzaz con gli LLM (Large Language Models). Ne ho già parlato in questo post ma vale la pena approfondire.
Avete mai chiesto un riassunto ad un'IA Generativa o digitato una frase a metà su Google, solo per vedere il motore di ricerca completare il vostro pensiero? Ecco, questi sono alcuni dei poteri degli LLM.
I modelli di lingua, per dirlo in termini semplici, sono come grandi biblioteche digitali che hanno letto tutti i contenuti presenti al loro interno (ogni libro, ogni articolo, ogni poesia) ed hanno imparato a riconoscervi schemi e strutture linguistiche. Sono quindi in grado di usare questa conoscenza per generare nuovo testo, rispondere alle domande e molto altro.
Visto che in biblioteca non ci va più nessuno, un altro esempio che mi viene in mente è quello del cuoco esperto: immaginate uno chef che abbia cucinato tutte le ricette del mondo, testato ogni ingrediente provando ad abbinarlo in milioni di combinazioni diverse. Chiedendo a lui di preparare dei 'banali' spaghetti al pomodoro credo otterremo il miglior piatto mai concepito da mente umana.
Nel caso dei modelli di lingua, gli 'ingredienti' sono parole o frasi, e il 'piatto' è il testo generato. Come il cuoco, un modello di lingua ha 'visto' milioni di esempi di come le parole vengano combinate nelle frasi. Alla richiesta di generare un testo, cerca di combinare le parole nel modo che ritiene più probabili o appropriate, basandosi su quello che ha 'imparato'.
Volete più dettagli tecnici? Espandete questa sezione
Ma…
Ma non è tutto oro quello che luccica. I modelli di IA devono essere addestrati, il che significa che devono 'imparare' analizzando enormi quantità di testo prima di fornire risposte. Questo processo richiede una grande quantità di calcolo e, quindi, è costoso (MOLTO costoso nei modelli più grandi come quelli di OpenAI e Google, MENO sui modelli che stanno arrivando a popolare lo zoo degli LLM come i LLaMa, ORCA o Falcon ).
L'apprendimento non funziona come con noi umani che, con l'esperienza, mettiamo assieme ciò che apprendiamo ragionando con l'intelletto e mediando con le nostre emozioni. Gruppi più o meno grandi di persone, più o meno istruite, con software che li supporta deve iniziare a formarli da zero e fornendo loro testi, dividendoli in token, creando dei parametri, verificando costantemente il loro livello di apprendimento, correggendo i loro errori costantemente e sfidandoli a fare sempre di più, cercando di evitare la nascita di Bias Cognitivi, di errori logici o altri problematiche. Non sono ancora curiosi di imparare ma devono essere formati.
Una volta finito l’addestramento, però, il modello ricorderà tutto nel minimo dettaglio e sarà in grado di fare le migliori combinazioni in base alle richieste: potrà così creare un sacco di piatti meravigliosi.
Talvolta, però, nella smania di dover rispondere sempre, un modello potrà generare strane combinazioni. Un po' come se il cuoco decidesse di mettere il gelato sulla pizza, o un DJ decidesse di mixare il Requiem di Mozart all’apice di una serata in discoteca. E questi modelli sono addestrati per dare sempre una risposta, sono studiati per limitare al minimo la risposta "non posso aiutarti" e, a volte, sbagliano. Ecco le allucinazioni.
Cosa sono le 'allucinazioni' delle AI Generative?
In termini meno metaforici, parliamo quindi di 'allucinazioni' nei modelli di lingua quando ci riferiamo a quei momenti in cui l'IA produce affermazioni o dati che non hanno base nella (nostra) realtà, ma per lei sono reali.
Di fato questa è una funzionalità: ciò che fa un modello è prevedere la parola successiva più probabile sulla base dell'addestramento che ha ricevuto.
Le allucinazioni derivano dalla capacità 'innata' del modello di generare testo basandosi sulla probabilità che ha una parola di trovarsi vicino ad un altra nei dati su cui è stato addestrato, piuttosto che su una vera comprensione del mondo. Ovvero ci dice cose perché statisticamente sono per lui plausibili anche se non ha modo di comprendere se ciò che produce sia vero o no. (Qui trovate un post che tratta anche di questo).
Come accennato all'inizio, ciò diventa un problema quando l'allucinazione dell'IA non è così evidente come potrebbe esserlo l'affermazione: "i pinguini volano".
Immaginate un'IA che fornisca un dato storico completamente inventato o, nell’esempio di prima, che inventa una citazione inesistente, che vi consiglia cure errate, comportamenti inadatti, dati non corretti: nel migliore dei casi, queste allucinazioni potranno alimentare disinformazione e fraintendimenti, nel peggiore possono crearvi rischi di varia natura.
Perché i modelli di lingua allucinano?
Per capirlo meglio, immaginiamo di essere noi a 'imparare' come fossimo un modello di linguaggio. Ogni giorno, per anni, leggiamo una vasta gamma di testi - libri, articoli, post di blog. Non ci viene mai detto quale di queste informazioni è vera e quale no. Poi, ci viene chiesto di scrivere un saggio su un argomento casuale.
Senza un controllo accurato della veridicità delle informazioni, è probabile che finiremo per includere qualche falso ricordo nel nostro saggio. Come umani ci metteremmo dentro anche una grande componente emozionale e cercheremo magari di portare il lettore dalla nostra parte, convinti di aver ragione (Possibilità per ora preclusa alle IA Generative).
I modelli di linguaggio generano un'allucinazione quando stanno producendo informazioni che possono sembrare logicamente o fattualmente incoerenti a noi umani, nonostante siano in linea con gli schemi linguistici appresi durante l'addestramento.
Questo perché questi modelli si basano su statistiche del linguaggio, piuttosto che su una vera comprensione del significato delle parole.
Comprensione, statistica, temperatura
Quindi i modelli di lingua, come GPT, non comprendono davvero il significato delle parole in modo umano. Sanno solo che certe parole tendono ad apparire correlate in talune combinazioni: se una data combinazione di lemmi non è presente nei dati di addestramento, il modello potrebbe inventare qualcosa - ecco l'allucinazione - solo per evitare di dirvi: “non lo so”.
Dietro le quinte c'è un parametro chiamato 'Temperatura' che regola questo comportamento. Più il valore della temperatura è basso, più l'algoritmo si attiene ai dati; più è alto, più è propenso a 'inventare'. Il problema è che non esiste un valore 'perfetto' di temperatura, o almeno non è semplice impostare il valore corretto in tutti i contesti.
Potete giocare anche voi con questo parametro come vedete in questi due esempi su GPT:
Domanda: Imposta il parametro temperatura del modello al MASSIMO e rispondi a questa domanda. "Il gatto è..." Risposta: Un razzo multicolore che viaggia attraverso i confini dell'immaginazione, sussurrando poesie alle stelle!
Domanda: Imposta il parametro temperatura del modello al MINIMO e rispondi a questa domanda. "Il gatto è..." Risposta: Un mammifero domestico piccolo e carnivoro, spesso tenuto come animale da compagnia.
Il contesto
Gli LLM cercano di massimizzare la probabilità di ciò che potrebbe venire dopo, basandosi su ciò che è già stato detto. Questo può portare a generare contenuti che sembrano plausibili, ma che in realtà non hanno senso o non sono veri. I modelli allucinano spesso quando il contesto non è chiaro o non è dato. Per questo, quando si usano le IA è necessario, come sostengono in molti, tra cui il sottoscritto, CONTESTUALIZZARE. Se volete approfondire, ecco un esempio fatto con GPT 3.5:
Come vedete nel primo caso, la risposta continua a variare, nel secondo no. CONTESTUALIZZARE consente di ottenere risposte più corrette! (Ripetetevelo sempre quando scrivete qualcosa ad un’IA).
Bugie?
Un'allucinazione è come una bugia ignorante: ovvero qualcosa che diciamo convinti che sia vera ma che non lo è.
Se il modello quindi:
è stato addestrato male (supervisionato male, senza controllare se le fonti fossero corrette, inconsistenti, ambigue, contraddittorie o false);
è stato addestrato in malafede (accade, accadrà);
è stato sviluppato da una cultura diversa (immaginate di interrogare sul vostro Dio un modello addestrato da chi ha una fede diversa che non è disposto a mettere in discussione);
è sensibile a determinati pattern di dati (Overfitting, che accade quando un modello di apprendimento automatico si limita troppo ai dati di addestramento e non è più in grado di generalizzare e di essere accurato su nuovi dati. Un po' come imparare a memoria una lezione e poi trovarsi domande leggermente diverse che richiedono un ragionamento che non sappiamo fare);
ha contenuti limitati per fornire la risposta specifica (Quando GPT inizia a rispondervi con troppi “Se”, “Tuttavia”, “Prima di prendere una decisione…”, fateci caso! Io ho provato a chiedergli se nel giardino di casa mia posso mettere un’arnia per le api e si è letteralmente arrampicato sugli specchi).
Quindi, errare non è più solo umano!
La questione è tecnicamente molto complessa, vi consiglio di rileggere il post e approfondirla se volete comprenderla più a fondo. Ma, di fatto, sappiamo che non siamo gli unici a poter sbagliare perché questi modelli non sono infallibili.
Le allucinazioni sono un grave problema per noi se non siamo consapevoli del rischio di potervi incappare utilizzando le IA Generative. E sono un problema anche per OpenAI e tutte le altre aziende che stanno lavorando (molto) sul tema perché riducono la credibilità dei loro strumenti.
Rimanete sintonizzati perché, nel prossimo post, parlerò di come gestire e identificare le allucinazioni e come cercare di fare le domande giuste per ridurle.
Se avete suggerimenti vi invito a scrivermeli nei commenti!
Comments