Ciao, rieccomi, scusate la latitanza ma… il nuovo libro mi ha completamente assorbito.
Comunque, siete stanchi di sentir parlare di Apple Intelligence e di Microsoft Copilot+PC inserito nel sistema operativo del vostro pc, dei relativi problemi di privacy, di ritardi di rilascio in Europa?
Se siete tra i pochi a non averne mai sentito parlare ne accennerò in seguito, ma mi vorrei concentrare sulla vera innovazione che sta dietro all’annuncio di queste tecnologie: il concetto di AI Personali o AI Private.
Le AI Personali, cosa sono?
Quando mi riferisco ad AI Personali non parlo di modelli creati da zero da o per voi, ma di soluzioni di utilizzo di AI, tipicamente Open Source (o Open Weights per essere più precisi, qui Datapizza ve lo spiega bene), principalmente generative, eseguite su dispositivi locali sotto il vostro controllo, al fine di garantire una maggior tutela della vostra riservatezza (se siete bravi a gestire la sicurezza dei vostri dispositivi).
Detta ancora più semplice: le AI Personali vi danno la possibilità di utilizzare un modello di AI direttamente nel vostro PC o smartphone(AI Personale) o sul vostro server (AI Privata), senza dipendere da una connessione ad internet o da servizi di terze parti.
Poche cose come l’AI, dopo la sbornia di social degli ultimi 20 anni, hanno infatti sollevato la criticità della ‘privacy’ negli utenti che, a suon di scandali, si sono resi conto che forse qualcosa va migliorato nel modo di gestire la sicurezza dei loro dati, e ora pretendono che sia il mondo delle AI a fare questo passo.
I primi approcci si hanno già da qualche anno: soluzioni come gpt4all.io o lmstudio.ai vi permettono infatti di scaricare un’applicazione di chat, scaricare modelli da un vastissimo catalogo (su hugghinface.com siamo a oltre 740.000 modelli disponibili!), staccare la vostra connessione wifi ed iniziare le vostre attività personali senza necessità di una connessione ad internet sul vostro computer. Volendo esagerare privatellm.app vi permette di fare la stessa cosa sui vostri smartphone.
Cosa cambia rispetto a Chat GPT?
Ogni volta che parlate con Chat GPT, Claude, Gemini infatti, ciò che accade è che state usando un’interfaccia web, ospitata su un server, a cui inviate i vostri prompt e ricevete delle risposte in modalità ‘black box’, ovvero senza sapere esattamente cosa accade lungo il tragitto e come i vostri dati vengono elaborati nonostante le importanti rassicurazioni presenti nelle condizioni di servizio.
Da quando premete INVIO quindi, perdete il controllo e dovete fidarvi: non sapete realmente dove verranno mandati i dati e come saranno trattati e memorizzati effettivamente.
Ciò accade anche perché i Large Language Models, sono degli oggetti, per definizione, molto grandi e sviluppati per essere utilizzati su hardware specifici (GPU, LPU e altri tipi di processori e architetture hardware) con costi estremamente elevati di esercizio se rapportati al mercato degli utilizzatori finali. Inoltre i loro requisiti di risorse sono proporzionali al numero di parametri che li compongono, e questo richiede grandi capacità di computazione.
Morale: più un modello è grande (seppur con alcuni limiti in fase di studio) più contiene informazioni e più è in grado di fare ‘ragionamenti’ complessi. Ma ciò comporta che richieda più risorse, così tante che non avrebbe senso utilizzarle per sé.
Ma perchè usate un modello di AI?
Semplificando al massimo vedo solo due motivi principali:
sa generare testo basandosi su un sacco di informazioni utili che già conosce che possono dare valore aggiunto alle vostre attività
sa ‘ragionare’ con nuovi dati che gli fornite voi nel prompt
(Ricordiamoci di non paragonare il ‘ragionamento’ di un’AI, che in realtà si chiama inferenza, con il nostro concetto di ragionare. Mi piacerebbe scrivere ‘inferire’ ogni volta che mi vedete scrivere ‘ragionare’ ma poi mi accusereste di essere troppo tecnico.)
Senza entrare troppo nel perché, la cosa importante da sapere è che c’è una linea di confine di efficienza tra dimensione del modello e la sua capacità di ragionamento che permette a modelli più piccoli di essere utilizzati anche su dispositivi locali, pur conservando ottime capacità di ragionare, soprattutto sui vostri dati.
Oltre agli LLM esistono quindi gli SLM (Small Language Models) che sono modelli addestrati con meno informazioni ma hanno requisiti hardware minori e offrono ottime capacità di analisi delle vostre richieste e dei vostri dati.
OK?
La mossa di Apple & Microsoft
Apple con la sua ‘Intelligence’ e Microsoft con Copilot + PC stanno lavorando con piccoli modelli proprio a questo: darvi la possibilità di avere conversazioni super-private nel grande disegno, immagino, di evolvere i propri sistemi operativi OSX, IOs e Windows ad ‘LLM OS’ come li ha definiti Andrej Karpathy qualche mese fa. Ovvero per integrare direttamente all’interno del dispositivo alcuni Modelli di AI generativa che siano in grado di ‘ragionare’ nel vostro contesto di lavoro corrente per fornirvi informazioni attendibili e utili o eseguire operazioni, senza che i vostri dati debbano andare verso ‘black box’ sparse su qualche cloud.
Integrare questi sistemi risolve anche un grosso tema riguardante la qualità dell’output delle AI: la qualità del contesto, come raccontavo in un precedente articolo qui. Ogni volta infatti che iniziate una conversazione con un’AI Generativa dovete raccontare chi siete, cosa fate, cosa volete in modo specifico per ottenere risultati di qualità.
Se un LLM, o uno SLM, fossero in grado di avere traccia di tutto ciò che fate sul vostro dispositivo, avessero accesso a tutti i dati, saprebbero anche in tempo reale cosa state facendo e di cosa avete bisogno e, addirittura senza prompt ma con qualche click da parte vostra qua e là, sarebbero in grado di effettuare attività complesse che, solo a descriverle, avrebbero richiesto più del tempo necessario a spiegarle.
Inoltre la potenza di calcolo necessaria viene trasferita alle capacità del vostro dispositivo e non richiede un data center con una grande potenza di calcolo (Prima o poi parlerò anche dei costi energetici di un’AI).
E per le aziende?
Per le aziende questo significa due cose:
Poter fornire ai propri collaboratori un ambiente di lavoro con AI Personali che preservi al massimo la riservatezza dei dati trattati
Poter evolvere il concetto nelle AI Private e portare sulle proprie infrastrutture, qualunque modello ‘open weight’ nell’ambito del proprio sistema informativo, e di conoscere esattamente quali passaggi faranno i dati e come vengano utilizzati.
Rimarranno da gestire ‘soltanto’ tutti i rischi sulla cybersecurity, i costi di implementazione e le tante attività di operations per manutenerli (AIOps).
Ad esempio, una banca potrebbe usare un server AI privato per analizzare le transazioni finanziarie in tempo reale, rilevando eventuali frodi senza che i dati sensibili lascino mai l'infrastruttura aziendale. O un’azienda potrebbe sviluppare un Assistente AI che dia accesso ad informazioni sensibili in ambito HR con la certezza che i dati rimangano nel perimetro aziendale.
Quindi
Come racconto da un bel po’ di mesi nei miei workshop aspettiamoci quindi di essere ‘circondati’ da diversi modelli più piccoli, specializzati e locali che possano fornirci AI più limitate ma con la garanzia della riservatezza dei dati.
Come dite? Non è una novità? Certo, già da quando avete iniziato a veder comparire sulle tastiere dei vostri smartphone la prossima parola possibile da digitare avete usufruito di un modello di AI. Qui la differenza è che sono ‘oggetti’ più potenti e versatili con cui potete anche dialogare direttamente.
E come ha annunciato Apple, sarà il modello stesso a rendersi conto che avete necessità di passare a modelli più potenti e ospitati sul cloud quando necessario!
Nell’attesa che queste soluzioni dei grandi player maturino, non vi farà male iniziare a provare a far ‘girare’ qualche modello sui vostri dispositivi e vedere come funzionerà il mondo da qui a pochi mesi.
Se avrete un po’ di pazienza ne parlerò meglio nel libro “Assumere un’AI in Azienda” che arriverà a settembre.
📢 Se il contenuto ti è piaciuto, aiutami diffondendolo.
📝 Iscriviti al Blog Glimpse per non perdere nessun aggiornamento:
📚 Dai un'occhiata a 'Glimpse', il mio romanzo sull'intelligenza artificiale
🇮🇹https://www.glimpse.blog/glimpse 🇬🇧https://www.glimpse.blog/en/glimpse
🗓️ Contattami se vuoi organizzare un Workshop sull'IA o per qualsiasi idea.
A presto!
Massimiliano
Comments