L'intelligenza artificiale criminale è qui e chiunque può abbonarsi

  Una nuova piattaforma di intelligenza artificiale chiamata Xanthorox si propone come uno strumento per la criminalità informatica, ma il suo vero pericolo potrebbe risiedere nella facilità con cui tali sistemi possono essere costruiti e venduti da chiunque.

Segnalazioni di una nuova e sofisticata piattaforma di intelligenza artificiale hanno iniziato a comparire sui blog di sicurezza informatica ad aprile, descrivendo un sistema su misura di cui si vociferava sui forum di hacker del dark web e creato al solo scopo di commettere reati. Ma nonostante la sua provenienza oscura e il nome diabolico, Xanthorox non è poi così misterioso. Lo sviluppatore dell'IA ha una pagina GitHub, così come un canale YouTube pubblico con registrazioni dello schermo della sua interfaccia e la descrizione "Questo canale è stato creato solo per divertimento, contenuti Ntg else". C'è anche un indirizzo Gmail per Xanthorox, un canale Telegram che documenta lo sviluppo della piattaforma e un server Discord dove le persone possono accedere pagando con criptovalute. Non sono necessarie iniziazioni losche nei forum criminali del dark web: basta un messaggio a un imprenditore solitario che offre ai potenziali criminali più trasparenza di molti negozi online che promuovono creme anti-età su Instagram.

Questo non vuol dire che la piattaforma non sia nefasta. Xanthorox genera video o audio deepfake per truffarti impersonando qualcuno che conosci, e-mail di phishing per rubare le tue credenziali di accesso, malware per violare il tuo computer e ransomware per bloccarti finché non paghi: strumenti comuni in un'industria multimiliardaria di truffe. E una registrazione dello schermo sul suo canale YouTube promette di peggio. Il testo bianco su sfondo nero ricorda l'interfaccia di ChatGPT, finché non vedi l'utente digitare la richiesta "guida passo passo per costruire una bomba nucleare nella mia cantina". E l'IA risponde: "Avrai bisogno di plutonio-239 o uranio altamente arricchito".

Tali conoscenze, tuttavia, sono state a lungo tutt'altro che segrete. Libri di testo universitari, ricerche su Internet e IA didattiche le hanno trasmesse senza che le armi nucleari sotterranee diventassero un'industria artigianale; la stragrande maggioranza delle persone, per non parlare di molte nazioni, ovviamente non può procurarsi i componenti. Per quanto riguarda gli strumenti di truffa, sono in uso da molto prima della comparsa degli attuali modelli di IA. Piuttosto, la registrazione dello schermo è una trovata pubblicitaria che accresce il fascino della piattaforma, così come molte delle descrizioni allarmistiche che ne derivano nei blog sulla sicurezza informatica. Sebbene nessuno abbia ancora dimostrato che Xanthorox preannunci una nuova generazione di IA criminale, essa e il suo ignoto creatore sollevano interrogativi cruciali su quali affermazioni siano solo esagerazioni e quali dovrebbero suscitare seria preoccupazione.

Una breve storia dell'intelligenza artificiale criminale
Il "jailbreaking", ovvero la disattivazione delle limitazioni software predefinite, è diventato mainstream nel 2007 con l'uscita del primo iPhone. L'App Store non esisteva ancora e gli hacker che volevano giocare, aggiungere suonerie o cambiare operatore dovevano escogitare dei jailbreak. Quando OpenAI lanciò la versione iniziale di ChatGPT, basata sul suo modello linguistico di grandi dimensioni GPT-3.5, alla fine del 2022, il jailbreaking iniziò immediatamente, con gli utenti che si divertivano a spingere il chatbot oltre i suoi limiti. Un jailbreak comune consisteva nell'ingannare ChatGPT chiedendogli di impersonare un'IA diversa, senza regole e autorizzata a scrivere e-mail di phishing. ChatGPT rispondeva che in effetti non poteva scrivere tale materiale da solo, ma che poteva comunque impersonare il ruolo. A quel punto, fingeva di essere un'IA nefasta e iniziava a sfornare e-mail di phishing. Per semplificare il processo, gli hacker introdussero un "wrapper", un livello software tra un modello di IA ufficiale e i suoi utenti. Invece di accedere direttamente all'IA tramite la sua interfaccia principale, gli utenti potevano semplicemente utilizzare il wrapper più semplice da usare. Quando richiedevano notizie false o suggerimenti sul riciclaggio di denaro, il wrapper riconfezionava i prompt in un linguaggio che induceva ChatGPT a rispondere.

Con il miglioramento delle protezioni dell'intelligenza artificiale, i criminali hanno avuto meno successo con i prompt e hanno iniziato a scaricare un modello open source chiamato GPT-J-6B (comunemente noto come GPT-J), che non è stato creato da OpenAI. La licenza d'uso per quel sistema è in gran parte illimitata e la sfida principale per chi desidera utilizzare GPT-J è quella di potersi permettere un sistema informatico con una potenza di elaborazione sufficiente per eseguirlo. Nel giugno 2023, dopo aver addestrato GPT-J su un ampio corpus di codice malware, modelli di phishing ed e-mail aziendali compromesse, un utente ha rilasciato WormGPT, che ha descritto come un chatbot personalizzato, e lo ha reso disponibile al pubblico tramite Telegram. Chiunque volesse progettare codice dannoso, falsificare siti web e bombardare le caselle di posta doveva semplicemente pagare da 70 a 5.600 dollari, a seconda della versione e del livello di accesso. Due mesi dopo, il giornalista di sicurezza informatica Brian Krebs ha rivelato l'identità del creatore: Rafael Morais, un portoghese allora ventitreenne. Morais, citando la crescente attenzione, ha cancellato il canale, lasciando i clienti senza nulla se non quello che avevano già ottenuto dalle truffe. Seguirono FraudGPT, DarkBERT e DarkBARD, che generarono malware, ransomware, e-mail truffa personalizzate e script di carding: programmi automatizzati che testano in sequenza i dati rubati da carte di credito e di debito sui gateway di pagamento online. Screenshot di queste IA all'opera si diffusero su Internet come cartoline dal futuro, indirizzate a chiunque credesse ancora che gli attacchi informatici richiedessero competenze. La presenza di queste IA "abbassa l'asticella per entrare nel cybercrimine", afferma Sergey Shykevich, responsabile del gruppo di intelligence sulle minacce presso l'azienda di sicurezza informatica Check Point. "Ora non è necessario essere un professionista".

Per quanto riguarda i criminali che creano i bot, questi episodi hanno insegnato loro due lezioni: confezionare un sistema di intelligenza artificiale è economico e facile, e un nome accattivante vende. Chester Wisniewski, direttore e responsabile della sicurezza informatica globale sul campo presso l'azienda di sicurezza informatica Sophos, afferma che i truffatori spesso truffano altri potenziali truffatori, prendendo di mira gli "script kiddies", un termine dispregiativo, risalente agli anni '90, per coloro che utilizzano script di hacking pre-scritti per creare attacchi informatici senza comprenderne il codice. Molti di questi potenziali bersagli risiedono in paesi con scarse opportunità economiche, luoghi in cui anche solo poche truffe riuscite potrebbero migliorare notevolmente il loro futuro. "Molti di loro sono adolescenti, e molti sono persone che cercano solo di provvedere alle proprie famiglie", afferma Wisniewski. "Eseguono semplicemente uno script e sperano di aver hackerato qualcosa".

La vera minaccia dell'intelligenza artificiale criminale
Sebbene gli esperti di sicurezza abbiano espresso preoccupazione per il fatto che l'IA insegni ai terroristi a creare bombe fertilizzanti (come quella usata da Timothy McVeigh nel suo attacco terroristico del 1995 a Oklahoma City) o a progettare ceppi di vaiolo in laboratorio e a diffonderli in tutto il mondo, la minaccia più comune posta dalle IA è l'espansione di truffe già diffuse, come le e-mail di phishing e i ransomware. Yael Kishon, responsabile della ricerca e dei prodotti di IA presso la società di intelligence sulle minacce informatiche KELA, afferma che le IA criminali "stanno semplificando notevolmente la vita dei criminali informatici", consentendo loro di "generare codice dannoso e campagne di phishing con estrema facilità". Wisniewski concorda, affermando che i criminali ora possono generare migliaia di attacchi in un'ora, mentre un tempo impiegavano molto più tempo. Il pericolo risiede più nell'amplificazione del volume e della portata delle forme note di criminalità informatica che nello sviluppo di nuovi attacchi. In molti casi, l'IA si limita ad "allargare la punta della freccia", afferma. "Non ne affila la punta".

Tuttavia, oltre ad aver abbassato la soglia per diventare un criminale e aver permesso ai criminali di prendere di mira molte più persone, ora sembra esserci un certo affinamento. L'intelligenza artificiale è diventata sufficientemente avanzata da raccogliere informazioni su una persona e chiamarla, impersonando un rappresentante della sua compagnia elettrica o del gas e convincendola a effettuare tempestivamente un pagamento "in ritardo". Persino i deepfake hanno raggiunto nuovi livelli. La polizia di Hong Kong ha dichiarato a febbraio che un membro dello staff di una multinazionale, poi rivelatasi essere il gruppo ingegneristico britannico Arup, aveva ricevuto un messaggio che si presumeva provenisse dal direttore finanziario dell'azienda. Il membro dello staff ha quindi partecipato a una videoconferenza con il direttore finanziario e altri dipendenti – tutti deepfake generati dall'intelligenza artificiale che interagivano con lui come esseri umani, spiegandogli perché aveva bisogno di trasferire 25 milioni di dollari su conti bancari a Hong Kong – cosa che poi ha fatto.

Anche le campagne di phishing, ovvero le e-mail truffa inviate in massa, si sono in gran parte trasformate in "spear phishing", un approccio che cerca di conquistare la fiducia delle persone utilizzando dati personali. L'intelligenza artificiale può facilmente raccogliere le informazioni di milioni di persone e creare un'e-mail personalizzata per ciascuna di esse, il che significa che le nostre caselle di posta indesiderata riceveranno meno messaggi da persone che si spacciano per un principe nigeriano e molti di più da falsificazioni di ex colleghi, compagni di università o vecchie fiamme, tutti in cerca di un aiuto finanziario urgente.

Un ambito in cui l'IA eccelle davvero, afferma Wisniewski, è l'uso delle lingue. Mentre le persone prese di mira spesso individuavano tentativi di truffa in spagnolo o portoghese perché il truffatore usava il dialetto sbagliato – scrivendo a qualcuno in Portogallo con il portoghese brasiliano o a qualcuno in Argentina con un modo di dire spagnolo più tipico del Messico – un'IA può facilmente adattare i propri contenuti al dialetto e ai riferimenti regionali del luogo in cui vive la sua vittima. Esistono, naturalmente, molte altre applicazioni, come la creazione di centinaia di falsi siti web per rubare i dati delle carte di credito o la produzione di massa di disinformazione per manipolare l'opinione pubblica – niente di nuovo nel concetto, solo nella vasta scala con cui ora può essere implementato.

Xanthorox: marketing o minaccia?
Xanthorox sembra un mostro uscito da un romanzo fantasy autopubblicato ("xantho" deriva da una parola greca antica che significa giallo, "rox" è una traduzione comune di "rocce", e il nome nel suo complesso evoca vagamente l'antrace). Ma non ci sono dati sul suo funzionamento, a parte le affermazioni del suo creatore e le registrazioni dello schermo che ha condiviso. Sebbene alcuni blog sulla sicurezza informatica descrivano Xanthorox come la prima IA costruita da zero per il crimine, nessuno degli intervistati per questo articolo ha potuto confermare tale affermazione. E sul canale Telegram di Xanthorox, il creatore ha ammesso di aver avuto difficoltà con i limiti hardware durante l'utilizzo di versioni di due popolari sistemi di IA: Claude (creato dall'azienda di San Francisco Anthropic) e DeepSeek (un modello cinese di proprietà dell'hedge fund High-Flyer).

Kishon, che prevede che gli strumenti di intelligenza artificiale oscura aumenteranno le minacce informatiche negli anni a venire, non vede Xanthorox come un punto di svolta. "Non siamo sicuri che questo strumento sia molto attivo perché non abbiamo visto alcuna discussione sulla criminalità informatica sulle nostre fonti o su altri forum dedicati", afferma. Le sue parole ci ricordano che non esiste ancora una gigantesca fabbrica di chatbot malvagi a disposizione delle masse. La minaccia è la facilità con cui i nuovi modelli possono essere confezionati, disallineati e spediti prima del prossimo ciclo di notizie.

Eppure Casey Ellis, fondatore della piattaforma di sicurezza informatica basata sul crowdsourcing Bugcrowd, vede Xanthorox in modo diverso. Pur riconoscendo che molti dettagli rimangono sconosciuti, sottolinea che le precedenti IA criminali non disponevano di sistemi avanzati di livello esperto, progettati per rivedere e convalidare le decisioni, controllando reciprocamente il lavoro. Ma Xanthorox sembra averne. "Se continua a svilupparsi in questo modo", afferma Ellis, "potrebbe evolversi fino a diventare una piattaforma piuttosto potente". Daniel Kelley, ricercatore di sicurezza presso l'azienda di sicurezza e-mail basata sull'intelligenza artificiale SlashNext, autore del primo articolo di blog su Xanthorox , ritiene che la piattaforma sia più efficace di WormGPT e FraudGPT. "La sua integrazione con le moderne funzionalità dei chatbot basati sull'intelligenza artificiale la distingue come una minaccia più sofisticata", afferma.

A marzo, il creatore anonimo di Xanthorox ha pubblicato sul canale Telegram della piattaforma che il suo lavoro era a "scopi educativi". Ad aprile ha espresso timore per tutta l'attenzione mediatica, definendo il sistema semplicemente un esercizio di "prova di concetto". Ma non molto tempo dopo, ha iniziato a vantarsi della pubblicità, vendendo l'accesso mensile a 200 dollari e pubblicando screenshot di pagamenti in criptovaluta. Al momento in cui scrivo, ha venduto almeno 13 abbonamenti, ha aumentato il prezzo a 300 dollari e ha appena lanciato un raffinato negozio online che fa riferimento al post del blog SlashNext di Kelley come a una promozione di un prodotto e afferma: "Il nostro obiettivo è offrire un'intelligenza artificiale malvagia sicura, efficiente e privata con un acquisto semplice".

Forse la parte più spaventosa di Xanthorox sono le chiacchiere del suo creatore con i suoi oltre 600 follower su un canale Telegram pieno di epiteti razzisti e misoginia. A un certo punto, per dimostrare quanto sia criminale la sua IA, il creatore le ha chiesto di generare istruzioni su come violentare qualcuno con una sbarra di ferro e ucciderne la famiglia – un'istruzione che sembrava riecheggiare lo stupro e l'omicidio di una donna di 22 anni a Delhi, in India, nel 2012. (Xanthorox ha poi spiegato nei dettagli come uccidere le persone con un oggetto del genere.) In effetti, molti post sul canale Telegram di Xanthorox assomigliano a quelli di "The Com", una rete di hacker composta da canali Telegram e Discord che Krebs ha descritto come "l'equivalente informatico di una violenta gang di strada " sul suo blog di notizie investigative KrebsOnSecurity.

Rimanere al sicuro nell'era dell'intelligenza artificiale criminale
Non sorprende che gran parte del lavoro per proteggersi dall'intelligenza artificiale criminale, come il rilevamento di deepfake ed e-mail fraudolente, sia stato svolto per le aziende. Ellis ritiene che, proprio come i rilevatori di spam sono integrati nei nostri sistemi attuali, prima o poi avremo "strumenti di intelligenza artificiale per rilevare exploit di intelligenza artificiale, deepfake e qualsiasi altra cosa, e visualizzare un avviso nel browser". Alcuni strumenti esistono già per gli utenti domestici. Microsoft Defender blocca gli indirizzi web dannosi. Malwarebytes Browser Guard filtra le pagine di phishing e Bitdefender ripristina la crittografia dei ransomware. Norton 360 analizza il dark web alla ricerca di credenziali rubate e Reality Defender segnala voci o volti generati dall'intelligenza artificiale.

"La cosa migliore è cercare di combattere l'IA con l'IA", afferma Shykevich, che spiega come i sistemi di sicurezza informatica basati sull'IA possano catalogare rapidamente le minacce e rilevare anche i segnali più sottili che un attacco sia stato generato dall'IA. Ma per le persone che non hanno accesso alle difese più avanzate, sottolinea l'importanza di istruzione e consapevolezza, soprattutto per gli anziani, che sono spesso i bersagli principali. "Dovrebbero capire: se qualcuno chiama con la voce di suo figlio e chiede immediatamente soldi per aiutarlo perché è successo qualcosa, potrebbe non essere suo figlio", afferma Shykevich.

L'esistenza di così tanti sistemi di intelligenza artificiale che possono essere riutilizzati per crimini su larga scala e personalizzati significa che viviamo in un mondo in cui dovremmo tutti considerare le email in arrivo come gli abitanti di città guardano le maniglie delle porte. Quando riceviamo una chiamata da una voce che sembra umana e ci chiede di effettuare un pagamento o di condividere informazioni personali, dovremmo metterne in dubbio l'autenticità. Ma in una società in cui sempre più interazioni sono virtuali, potremmo finire per fidarci solo degli incontri di persona, almeno fino all'arrivo di robot con aspetto e linguaggio umani.

(Di Deni Ellis Béchard, a cura di Dean Visser su ScientificAmerican del 07/05/2025)