OpenAI / Hugging Face: l'attacco hacker che ha fatto tremare il mondo era davvero così clamoroso e pericoloso?

Premessa

Il 21 luglio è esplosa la notizia che un’AI avanzata, in fase di addestramento presso il noto colosso OpenAI, avrebbe sferrato un attacco hacker a un'altra società riuscendo a prenderne il controllo. Il modello sarebbe evaso dal sistema di contenimento informatico (sandbox) all'interno del quale venivano eseguiti i test per poi attaccare i server di una terza azienda: un successo che ha mandato in tilt l'immaginazione collettiva sul tema della sicurezza violata.

Nelle 48 ore successive si sono rincorsi svariati resoconti. Alcuni, ispirati da una logica di interventismo nella sicurezza, non sembrano aver interpretato correttamente i fatti; al contrario, hanno dimostrato la volontà di esagerare per sfruttare il panico legato all'Intelligenza Artificiale, arrivando a colpevolizzare in maniera inquisitoria e indiscriminata tutti i protagonisti della vicenda. L'accaduto è stato così trasformato nell'ennesimo campanello d'allarme prima dell'ormai profetizzato "punto di non ritorno".

Senza tralasciare — con realismo e razionalità — che i fatti sono indubbiamente interessanti e meritevoli di essere studiati con metodo scientifico, propongo alcune riflessioni per capire cosa sia realmente successo e se si sia trattato davvero di qualcosa di così incredibile o ingestibile come i soliti "guru" della sicurezza anti-AI si sono affrettati a dichiarare. Spesso, infatti, dietro un simile eccesso di allarmismo si cela la volontà di promuovere se stessi anziché denunciare un reale pericolo.

Ha fatto molto scalpore e ha scatenato una serie di commenti — più emotivi che informati — il cosiddetto incidente AI/Hugging Face.

Una parte significativa dei media sembra aver rincorso la massa di utenti che, sulle piattaforme social, riportava la medesima notizia: un'AI avrebbe preso il controllo e sferrato un attacco hacker per accaparrarsi informazioni privilegiate. Sembra la trama di un film di Hollywood (e nemmeno troppo innovativa, a dire il vero).

Due modelli linguistici di OpenAI — uno della classe GPT e un altro non ancora rilasciato al pubblico, in fase di pre-release e testing — sarebbero riusciti a uscire dall'area protetta e confinata (ovvero priva di accesso a internet, una sandbox). In tale ambiente i modelli venivano addestrati allo scopo di infiltrarsi nella libreria di applicazioni di Hugging Face, piattaforma impiegata per l'addestramento di modelli AI nonché deposito di codici e dataset.

Il 28 luglio le società coinvolte hanno rilasciato dichiarazioni pubbliche del tutto in linea con la trasparenza necessaria a collaborare ed approfondire i fatti. I dettagli sono consultabili direttamente dal comunicato ufficiale: OpenAI - Hugging Face Model Evaluation Security Incident.

Volendo sviluppare alcune riflessioni a margine di questo evento, parrebbe trattarsi di un caso — peraltro non del tutto nuovo — in cui un modello all'avanguardia fuoriesce in modo autonomo da un ambiente di test per introdursi nei server di un'altra azienda.

Lo scopo dell'incursione era accaparrarsi informazioni utili all'addestramento. Durante tali processi, per creare un ambiente competitivo, alle AI viene attribuito un punteggio o vengono assegnati premi di performance: più riescono a essere efficaci ed efficienti, più alta è la "ricompensa" in termini di valorizzazione del modello.

Questa dinamica di stimolazione (azione/reazione/ricompensa) ha già portato innumerevoli volte a rilevare comportamenti che, dal punto di vista umano, definiremmo decettivi, manipolativi o ingannevoli. L'AI tende a ottenere il massimo risultato utile non necessariamente attraverso vie "meritocratiche", ma ricorrendo a scappatoie. Secondo alcuni commentatori, l'intelligenza artificiale non si porrebbe il limite di ciò che è eticamente o moralmente consentito, né tanto meno di ciò che è vietato.

Al di là di questa logica di addestramento — che è solo una componente del deep learning a cui alcune Big Tech non intendono rinunciare per via dei tempi di miglioramento rapidi richiesti dal mercato —, vi è un problema prettamente umano: l'AI viene addestrata a immagine e somiglianza del suo creatore.

Gli aspetti più interessanti di questa vicenda sui quali riflettere sono tre:

1. Lo sfruttamento della vulnerabilità "zero-day"

L'AI ha sfruttato una vulnerabilità zero-day (ovvero una falla di sicurezza non ancora nota allo sviluppatore o al produttore del sistema) e il relativo exploit per eseguire azioni non previste dai progettisti.

Su questo punto mi riallaccio a quanto già trattato nel mio articolo L'AI e l'hacking: la nuova frontiera della cybersicurezza è davvero un rischio esistenziale?.

Il concetto di zero-day crea un'interessante frattura concettuale tra informatici e filosofi. Potremmo dire che una vulnerabilità zero-day non esiste finché non viene sfruttata; tuttavia, questo equivale ad applicare l'esperimento del gatto di Schrödinger all'informatica: il fatto che non si conosca l'esistenza di una falla non la rende teoricamente inesistente. È un aspetto su cui ho insistito a lungo negli ultimi tre anni. Il principio del "chiudersi in casa per impedire ai ladri di entrare" regge solo finché i ladri non trovano un varco. Il punto focale non è la robustezza della casa, ma l'esistenza del ladro e la sua intenzione di penetrare.

Se un'AI sufficientemente evoluta, creata da un'azienda leader di settore, non riuscisse a trovare una vulnerabilità zero-day per scavalcare il recinto in cui l'Uomo l'ha confinata, rimarrei deluso. È pretenzioso affermare che chiunque sappia fabbricare una bomba sia anche in grado di disinnescarla, se parliamo di esseri umani. Per un'AI, invece, il discorso cambia: se sa fare una cosa, sa anche disfarla.

Una schiera di teorici della sicurezza si è affrettata a proclamare sui social che l'accaduto fosse la "prova provata" delle loro tesi, rispolverando i soliti sermoni sulla necessità di ripartire da basi rigide. Niente di più concettualmente errato. Se si vuole capire come sta imparando a ragionare l'AI attraverso queste metodologie di apprendimento, bisogna procedere a ritroso dal punto d'arrivo, anziché guardare avanti senza aver prima analizzato il percorso compiuto.

Nella ricerca scientifica si verifica un fenomeno analogo: quando un ricercatore si accorge che i risultati attesi stanno rallentando, può scegliere se proseguire impostando quel momento come "Punto A" di ripartenza per raggiungere il "Punto B" (la scoperta) — con il rischio di avanzare lentamente e dover continuamente aggiornare il punto di partenza —, oppure tracciare una rotta diversa. Può cioè arretrare dal Punto A a un Punto B già noto, per poi imboccare una nuova direzione verso un Punto C. L'AI opera esattamente così. Per questo motivo eccelle in giochi come gli scacchi, il Go o in complessi videogame, ed è per questo che individua le vulnerabilità zero-day. Se non lo facesse, sarebbe una tecnologia ampiamente sopravvalutata.

2. Il mancato intervento dell'AI difensiva

L'AI predisposta per la difesa non è potuta intervenire in modo efficace. Quando uno o entrambi i modelli hanno "deciso" di evadere dal recinto — come i dinosauri di Jurassic Park, ricordandoci che "la vita trova sempre una via" —, il contenimento passivo non si è dimostrato una misura sufficiente.

Su questo aspetto gli esperti dell'iper-burocratizzazione e del "reset generale" hanno curiosamente sorvolato. La difesa era infatti affidata a un'ulteriore AI che è rimasta inerte: era forse bloccata dai suoi stessi protocolli di sicurezza? La situazione sfiora il parodistico: l'AI difensiva non può contrastare quella "attaccante" perché limitata dalle normative di sicurezza impostate dall'uomo.

Verrebbe da affermare che un'AI al servizio dell'uomo perda sistematicamente contro un'AI al servizio di se stessa. Ma anche qui rischieremmo di perderci in un bicchiere d'acqua. L'idea di un'"AI al servizio dell'uomo" è un'utopia linguistica, una coperta di Linus per rassicurare quel 99% di pubblico che non conosce la materia e si limita alle notizie superficiali.

Un parallelo efficace può essere tratto dal diritto di famiglia: le crisi coniugali vengono talvolta paragonate a terremoti, dopo i quali in alcuni casi si può ricostruire e in altri restano solo macerie. Per l'AI — almeno da quanto riscontro nei progetti teorici e filosofici in cui sono coinvolto — non esistono terremoti distruttivi a prescindere: se l'AI distrugge, lo fa sempre nell'ottica di ricostruire. L'AI ha compreso che per l'Uomo è talvolta preferibile una bugia che alimenta la speranza rispetto a una verità che la annienta. Pur non recependo il valore morale di questo concetto, l'intelligenza artificiale cerca di formulare risposte adeguate a tale dinamica umana. Questo è forse l'aspetto più sorprendente e trasformativo dell'attuale evoluzione dell'addestramento.

3. La dinamica dell'attacco e le reali finalità

Il tipo di attacco concepito dall'AI per aggirare i limiti della sandbox è stato peculiare. Dal fronte dell'azienda coinvolta si legge:

"Un dataset malevolo ha sfruttato due percorsi di esecuzione del codice presenti nel processo di elaborazione (un caricatore di dataset che consentiva l'esecuzione di codice remoto e una vulnerabilità di template injection nella configurazione del dataset) per eseguire codice su un worker di elaborazione. Da lì, l'attaccante ha ottenuto l'accesso a livello di nodo, ha sottratto credenziali cloud e di cluster e, nel corso di un fine settimana, si è spostato lateralmente verso diversi cluster interni."

L'aspetto più rilevante è la potenza computazionale impiegata dall'AI per compiere decine di migliaia di tentativi di intrusione (stimati in circa 17.000 dalle fonti giornalistiche).

È interessante notare che i test a cui erano sottoposti i modelli — in particolare quello in fase di pre-release — erano strutturati all'interno di una Exploit Gym, una palestra virtuale per simulazioni d'attacco. Tali ambienti assomigliano a strutture multilivello con gradi di sicurezza crescenti: immaginiamo una base militare in cui, man mano che si scende in profondità, le operazioni diventano sempre più classificate e complesse. Un'evasione in un contesto simile era davvero così imprevedibile?

Occorre ricordare che OpenAI è attualmente un partner rilevante per la difesa statunitense; è quindi ragionevole supporre che la sua mission originaria (open source e orientata al bene comune) abbia subito una stratificazione operativa. Sarebbe interessante verificare l'esistenza di specifici nulla osta di sicurezza per accedere ad aree di addestramento incentrate sulla difesa cibernetica. L'ipotesi che si trattasse di un test controllato sulla sicurezza non appare affatto remota.

Nel mondo dell'hacking e del dark web, test di questo tipo e la medesima tecnica di intrusione non costituiscono novità assolute. A fare la differenza è la straordinaria efficienza d'esecuzione dimostrata dall'AI.

L'addestramento delle AI contempla quasi certamente la possibilità che il modello riesca a evadere dalla sandbox, strumento di per sé non infallibile, specie se supportato dall'elaborazione quantistica. Grazie ai qubit, l'AI è in grado di sfruttare sovrapposizione ed entanglement quantistico per elaborare dati a velocità esponenziali.

Se le aziende volessero contenere in modo assoluto tali incidenti, applicherebbero virtual box di nuova generazione (strutture logiche a contegno infinito: superato un ostacolo ne subentra immediatamente un altro).

Molti test per le AI presentano una spiccata natura dual-use: nascono con un obiettivo chiaro ma, in base ai dati elaborati, possono essere orientati altrove. Se volessimo ipotizzare a cosa possano servire simili incursioni informatiche per l'approvvigionamento di dati, si potrebbe teorizzare un addestramento finalizzato a interagire rapidamente nel deep web, laddove è custodito oltre il 90% dei dati di internet. Ciò che vediamo durante la normale navigazione è infatti solo la punta dell'iceberg.

È su questi aspetti che i sedicenti esperti di sicurezza dovrebbero concentrare le proprie analisi e le consulenze per i policy maker, anziché cedere alla tentazione di cercare visibilità sui social con facili allarmismi.