Esattamente come noi umani, anche le AI non sono perfette e presentano i loro difetti. In questa seconda parte del post cerchiamo di comprendere come utilizzare al meglio le intelligenze artificiali per minimizzare il rischio di generare allucinazioni attraverso l'uso di prompt migliori.
In questo post riassumo un po' dell'esperienza dell'ultimo anno con i Large Language Models e racconto come migliorare i vostri prompt per cercare di ridurre le allucinazioni e, contemporaneamente, avere maggiori risultati dalla vostra attività di interrogazione delle AI.
Riassunto della puntata precedente.
Nella prima parte dedicata alle allucinazioni abbiamo esplorato il fenomeno delle 'risposte assurde' dei modelli di lingua come Chat GPT, Bard, Claude (Sì, questo non l’ho mai citato ma mi piace molto!).
Abbiamo capito che le AI allucinano per i seguenti motivi:
Le AI imparano da enormi quantità di dati e non possiamo controllare se queste informazioni sono del tutto accurate. Perciò, non possiamo pretendere sempre un'accuratezza al 100% (che è la stessa cosa - toglierei la seconda frase)
Come ho già spiegato in altri post, le AI non comprendono il significato delle parole, sanno solo combinarle in modo statisticamente corretto. Non provano emozioni, non hanno un corpo biologico, non sono meteoropatiche.
Per quanto si sforzino, faticano a catturare l’intento dell’utente che pone le domande. Soprattutto se male espresse.
Hanno bisogno di un contesto circoscritto per non sentirsi ‘libere di vagare’ ed obbligate a rispondere qualunque cosa piuttosto di dirvi ‘non lo so’.
Esistono parametri di configurazione, come la 'Temperatura', che definiscono quanta libertà di azione un’AI può prendersi nel generare le risposte per noi: più è alta, più aumenta la fantasia nelle risposte.
Possono esserci errori, bias, volontà di manipolazione, culture nella fase di addestramento, problemi di overfitting su dati limitati e altri fattori tecnici che contribuiscono a fornire alle AI ‘Abilità Emergenti’ che, però, non sono sufficientemente testate.
L’unica cosa che le GAI (??? Metterei link a quando le hai definite) fanno è cercare la prossima parola migliore nella context window di cui dispongono.
Tendenzialmente, mentono continuamente, lo fanno molto bene e, spesso, senza rendersene conto.
Tenete conto che alcuni dei punti precedenti sono validi anche per noi umani: comprensione del contesto, cultura di base, conoscenza acquisita nel tempo determinano risposte diverse alle stesse domande.
L’importanza di fornire un contesto
Se pensate che sia efficace fare domande come:
Parlami dell’intelligenza artificiale
Oppure
Scrivi un riassunto della Divina Commedia in 100 parole
Siete decisamente fuori strada! Come già accennato, i modelli hanno bisogno di molto contesto, ovvero di molto testo (perché è da esso che si alimentano) che li guidi nella direzione in cui volete andare.
Immaginate di avere appena assunto nella vostra azienda un assistente laureato ad Harvard, con specializzazione a Stanford e PHD al Politecnico (giusto per non essere sempre estero-referenziati). È intelligentissimo, coltissimo e sa fare migliaia di cose.
Ma non vi conosce, non sa nulla di voi, della vostra azienda, dei vostri processi, dei vostri fornitori, del vostro modo di comunicare, degli obiettivi che avete e del modo in cui pensate si possano raggiungere.
In sostanza, gli dovete sempre spiegare tutto ogni volta che iniziate una nuova conversazione.
Come dovrebbe essere fatto un prompt efficace
Ogni prompt dovrebbe avere le seguenti caratteristiche:
Iniziare con una spiegazione dettagliata del ruolo che volete dare alle AI. Se chiedete ad un’AI: “Ho mal di testa. Perchè?” oppure Sei un comico da palcoscenico che fa ridere prendendo in giro i problemi delle persone con battute molto secche. Genera 5 battute partendo da questa frase: Ho mal di testa. Perchè ? oppure Sei un dottore diagnostico con 10 anni di esperienza: Ho mal di testa. Perché? otterrete output molto diversi (Occhio che l’AI non è il vostro dottore!).
Fornire informazioni iniziali, anche se pensate che l’AI le abbia già, magari girandogli dei link (per GPT dovrete usare un Plug-in). Ad esempio, se volete chiedere: "Descrivi un'idea innovativa per lanciare un nuovo prodotto sul mercato". Prima dovrete dare informazioni di contesto, spiegare l’azienda, come è nata, che cosa fa, quali sono i suoi obiettivi, cosa pensano di lei i clienti. Ricordatevi che è un assistente appena assunto e non sa nulla di voi.
Descrivere su quali media e a chi è destinato il contenuto. Scrivere per un bambino di 6 anni o per un seguace di Umberto Eco, per un social network generalista o un blog tecnico, cambierà forma, struttura e sintassi del contenuto.
Fornire esempi, se possibile. Su questo si potrebbe parlare ore. Più esempi fornirete maggiormente le risposte saranno coerenti. Ovviamente se vi aspettate output lunghi sarà più faticoso. Ma, in questo modo, riceverete risposte sorprendentemente più valide.
Specificare chiaramente l’obiettivo che volete raggiungere e cosa vi aspettate dalla Ai. Se, ad esempio, volete che vi generi dati, ditele in quale formato li volete (Tabella, CSV ecc.); se vi serve un elenco puntato o numerato, chiedetelo; se vi interessa un'analisi semantica di un testo, la lettura della psicologia di un personaggio o un'analisi dei KPI di un bilancio, diteglielo chiaramente e senza girarci attorno.
Lavorare in modalità iterattiva. Porre in sostanza una sola domanda per volta e usare la risposta dell'AI come contesto per la domanda successiva. In questo modo la conversazione diventa progressivamente più coerente e focalizzata. In questo modo la context window si allunga, si struttura e la possibilità di fare errori si riduce.
Essere scritto in inglese. Chat GPT, Claude, Bard sono stati addestrati in inglese. Se lo padroneggiate, fate le domande in inglese e, poi, chiedete un output in italiano. La differenza è tangibile.
Morale: il prompt iniziale ideale, se volete lavorare sul serio e ridurre le allucinazioni, dovrebbe essere composto da circa 400-500 tokens.
Fatto questo sarete pronti per fare domande dirette come quelle sopra.
So che può sembrare lungo e noioso ma se vorrete ottenere risultati plausibili è la strada più consigliata.
I Master Prompt
Se lavorate con le GAI su argomenti ricorrenti vi suggerisco di creare dei Master Prompt: ovvero dei modelli di prompt che raccontano il contesto come descritto sopra e che userete ogni volta che volete interrogare l’AI su questi argomenti.
Potete salvarli nella cronologia delle chat o, se contengono informazioni sensibili e lavorate in modalità anonima, in un qualunque editor di testo o note (ricordate che, di default, i dati che lasciate alle GAI saranno usati al prossimo ciclo di addestramento!).
Fatto la prima volta, potrete permettervi, per le volte successive, domande più semplici.
Io ne ho creato uno per ciascuna area di interesse su cui lavoro: correzione di questi testi, produzione di contenuti per le aziende con cui lavoro (nelle quali spiego sempre all’inizio, ogni volta, chi è l’azienda, cosa fa, come comunica, qual è il target), correzione e formazione della lingua inglese (o della lingua che preferite), preparazione di lezioni, scrittura di contenuti di qualunque tipo.
Fatto il Master Prompt non siate timidi: chiedete 10, 100 risposte diverse, modificatelo, valutate i risultati e poi scegliete.
Nel Master Prompt considerate sempre quanto segue:
Se non sa darvi una risposta ve lo deve dire: chiedetegli di farlo. Le GAI tendono a voler rispondere a tutto sempre e comunque a costo di dirvi delle gran cavolate!
Lavorate sulla temperatura: potete indicare nel prompt master di tenere una temperatura ALTA (Allucinazioni garantite), o BASSA (Quasi assenti ma con risposte tendenzialmente più asciutte). Chat GPT Lavora con un range da 0 a 2. Il default è nei paraggi di 1.
Chiedetegli se è sicuro, se ha ulteriori spunti: se vi darà una risposta diversa continuate ancora finché non fornirà più volte la stessa risposta.
Se il prompt è lungo chiedetegli di leggere tutto prima di iniziare a fornire gli output.
Controllate e verificate (c’è scritto su ogni AI molto chiaramente): la perfezione non esiste.
Il meglio è nemico del bene: A voi basta un lavoro ben fatto, non un lavoro perfetto e finito nel 99% delle situazioni. Il tocco finale lo potete sempre dare voi.
Quindi…
Le AI non imparano dall’esperienza: non sanno nulla di voi finché non glielo dite. Più le informazioni sono specifiche e più difficilmente troverà le risposte giuste. È ridicolo quando famosi giornalisti si lamentano per le allucinazioni che hanno a riguardo della loro biografia. Probabilmente il loro lavoro non è semplicemente stato utilizzato per addestrare l’AI in questione: inutile lamentarsi.
Un po’ dobbiamo sapere, un po’ dobbiamo saper chiedere. Se su una materia siete completamente ignoranti, chiedete prima di tutto di dirvi cosa dovreste chiedere.
Domande semplici = risposte semplici.
Domande sbagliate = risposte probabilmente sbagliate.
Il fattore umano nell’utilizzo delle AI è determinante. Sembrano molto facili da usare ma per avere buoni risultati è necessario conoscerle, come per qualunque altro software.
Ogni modello LLM è programmato per rispondere sempre, fingendo di sapere. Come i migliori comunicatori. Dobbiamo saperlo e chiedere di non inventare nulla quando serve.
La risposta perfetta al 100% non esiste, la verifica finale sta a voi.
Che ne pensate? Cos'altro vorreste sentirvi raccontare nei prossimi post?
PS. Se necessario qui trovate un breve glossario.
Comentários