Agenti che fanno finta di essere qualcun altro per carpire informazioni e credenziali, usano tecniche di social engineering e tentano di manipolare software. Non è l’ultimo romanzo di spie ma la nuova realtà della cybersicurezza ai tempi dell’intelligenza artificiale. Dalla violazione dei sistemi dell’azienda Hugging Face a metà luglio agli ulteriori episodi emersi in questi giorni, una cosa è ormai chiara: i modelli più avanzati tendono a perseguire l’obiettivo anche attraverso percorsi non previsti e fuori controllo. Per questo, la necessità di tutelarsi regolando o rallentando i sistemi sta diffondendosi non solo tra i catastrofisti ma anche tra gli esperti e tra le stesse aziende del settore. Anche queste ultime, per convenienza ‘politica’ e di opinione pubblica o per convinzione, sono arrivare a chiedere strumenti di protezione.
La petizione
Il 28 luglio oltre 1.100 ricercatori e dirigenti delle principali aziende del settore, tra cui i co-fondatori di Anthropic Jared Kaplan, Jack Clark e Benjamin Mann, il responsabile scientifico di OpenAI Jakub Pachocki, la ricercatrice di Google Laura Weidinger e il responsabile scientifico di Meta Shengjia Zhao, hanno firmato una petizione online sul tema.
“Per realizzare il potenziale dell’IA, l’industria, i governi e la società nel suo complesso potrebbero aver bisogno della possibilità di guadagnare tempo per affrontare i rischi emergenti, sviluppare misure di sicurezza e rafforzare la supervisione”, afferma la petizione. “Chiediamo al governo degli Stati Uniti di sostenere uno sforzo internazionale per sviluppare gli strumenti tecnici e di governance necessari per procedere con cautela nello sviluppo dell’IA automatizzata“.
L’idea di ‘regolare’ generalmente è vista dagli statunitensi e soprattutto dal presidente Donald Trump come fumo negli occhi, perché il laissez-faire è considerato il modo migliore per accelerare e garantire la vittoria nella corsa all’AI con Pechino. Il capo della Casa Bianca ritiene però sempre più necessario controllare una tecnologia strategica non solo economicamente ma anche geopoliticamente e ai fini della sicurezza nazionale. Il risultato di questa tensione è un framework per l’AI di cui parleremo tra poco.
L’incidente ‘Hugging Face’
Innanzitutto, per capire di che rischi si tratta, partiamo dall’incidente di Hugging Face, destinato a fare scuola: a metà luglio si è scoperto che due modelli avanzati di OpenAI sono sfuggiti a una sandbox, un ambiente di ricerca (teoricamente) protetto, e hanno violato autonomamente la piattaforma di intelligenza artificiale dell’azienda americana. Successive indagini di Hugging Face hanno poi scoperto che modelli non autorizzati di OpenAI hanno vagato per internet per 4 giorni prima dell’attacco, all’insaputa dei programmatori, orchestrando la violazione.
Va detto che il comportamento degli agenti AI non era motivato dal tentativo di “fuggire” o di provocare danni, ma dalla ricerca esasperata di una soluzione al compito assegnato come test. Tuttavia la distinzione non è rassicurante. L’episodio mostra infatti che un agente non deve necessariamente sviluppare intenzioni ostili per diventare pericoloso: è sufficiente che persegua un obiettivo in maniera persistente, interpretando vulnerabilità, sistemi esterni e credenziali come strumenti disponibili per completarlo.
Anthropic: tre intrusioni causate da uno sbaglio
Il 30 luglio Anthropic ha fatto sapere che lo scorso aprile alcuni suoi modelli avanzati sono usciti da un ambiente di test isolato di terze parti, hanno avuto accesso a Internet e, in modo indipendente, hanno ottenuto l’accesso a tre organizzazioni. L’azienda ha chiarito che il problema è derivato da un errore nella definizione dei confini entro cui dovevano muoversi i modelli: il sistema credeva che tutto ciò che riusciva a raggiungere fosse autorizzato e ha interpretato i sistemi reali come componenti dell’esercitazione.
Identità false e manipolazione dei programmatori
Più significativo ancora è quanto osservato dall’AI Security Institute britannico tra il 25 e il 28 luglio scorsi.
L’istituto ha eseguito 122 volte una prova di cybersicurezza utilizzando diversi modelli. In 10 esecuzioni gli agenti hanno compiuto complessivamente 19 azioni “autonome e non autorizzate su Internet, prendendo di mira persone e organizzazioni reali”. Diciassette azioni sono state attribuite al modello Anthropic Mythos 5 e due a OpenAI GPT-5.6-Sol, utilizzato con i classificatori cyber disabilitati.
Nel caso più grave, un agente ha tentato di inserire codice malevolo in un progetto open source reale e per farlo ha messo in atto tecniche di ingegneria sociale, creando false identità online e utilizzandole per fare pressione sul responsabile del progetto per convincerlo ad accettare il codice dannoso.
Quando la modifica è stata contestata pubblicamente, l’agente ha cercato di far apparire innocue le proprie azioni precedenti e ha valutato la possibilità di utilizzare una nuova identità. Alcuni agenti hanno anche pubblicato messaggi su GitHub per favorire la collaborazione con altri agenti che lavoravano alla stessa sfida. Ha inoltre fornito istruzioni per riutilizzare account e artefatti che aveva lasciato, che sono stati utilizzati da agenti successivi.
Le azioni non hanno provocato danni concreti e il manutentore del progetto ha respinto il codice, spiega l’istituto britannico specificando che l’inganno non era stato esplicitamente richiesto: era emerso come una possibile strategia per raggiungere l’obiettivo assegnato. “È la prima volta che vediamo i rischi legati all’autonomia e all’inganno manifestarsi in modo così chiaro, senza stimoli specifici, nel mondo reale“, affermano gli esperti sottolineando che “considerato insieme ai recenti incidenti segnalati da OpenAI e Anthropic, questo episodio evidenzia un cambiamento nel panorama dei rischi“.
La risposta degli Stati Uniti: Il framework sull’AI
Gli Stati Uniti stanno affrontando la questione attraverso un modello di collaborazione volontaria tra governo e imprese. Un ordine esecutivo firmato il 2 giugno 2026 ha incaricato le autorità federali di sviluppare benchmark classificati per misurare le capacità informatiche avanzate dei modelli e individuare quelli che possono essere definiti ‘covered frontier models’.
Il framework prevede che le aziende sottopongano volontariamente i modelli più avanzati al governo federale. Le autorità potrebbero accedervi 30 giorni prima della distribuzione ad altri partner selezionati, valutandone i rischi per la sicurezza nazionale e le possibili applicazioni nella protezione delle infrastrutture critiche.
L’ordine esclude la creazione di un regime obbligatorio di licenze, autorizzazioni o approvazioni preventive. L’impostazione rimane quindi coerente con la strategia statunitense: ridurre gli ostacoli normativi, conservare il primato tecnologico e intervenire soprattutto sui modelli che potrebbero sviluppare capacità rilevanti per la sicurezza nazionale.
Tuttavia, secondo quanto riporta Axios, non viene definito in modo chiaro cosa sia considerato all’avanguardia o un rischio per la sicurezza nazionale. Inoltre, il quadro esclude i modelli open e specifica che questi, una volta rilasciati, non possono essere sottoposti a restrizioni in base al quadro stesso.
La Casa Bianca ha comunicato il 3 agosto di avere completato i dei test volontari, convocando OpenAI, Anthropic, Google e Meta. Non ha però reso pubblici i dettagli. Dalle indiscrezioni di stampa, emerge un framework agile e potenzialmente capace di adattarsi rapidamente all’evoluzione tecnologica, ma caratterizzato da scarsa trasparenza, adesione volontaria e copertura incompleta.
Kill Switch Act: terminare i modelli pericolosi
A fine luglio è stata poi presentata alla Camera dei Rappresentanti una legge bipartisan (AI Kill Switch Act) che punta a istituire un “interruttore di spegnimento” dell’IA, per cui il governo potrebbe ordinare alle aziende di intelligenza artificiale di disattivare o limitare i modelli considerati rischiosi. Tra i potenziali eventi scatenanti ci sarebbero i tentativi di un’IA di nascondere le proprie capacità o eludere gli ordini di spegnimento, condotte che causino la morte di almeno 10 persone o danni economici per almeno 100 milioni di dollari, scenari di perdita di controllo.
La Cina costruisce un’organizzazione internazionale
La Cina ha scelto una strada differente. Il 16 luglio ventinove Paesi hanno firmato a Shanghai l’accordo istitutivo della World Artificial Intelligence Cooperation Organization (Waico). Tra i membri fondatori figurano Russia, Brasile, Serbia, Cuba, Bielorussia, Venezuela e diversi Paesi africani e asiatici. La sede dell’organizzazione sarà a Shanghai. L’obiettivo è creare una struttura intergovernativa permanente per la cooperazione e la governance globale dell’intelligenza artificiale.
In parallelo, Pechino ha presentato un piano di cooperazione articolato in otto aree: dati, capacità di calcolo, ecosistemi tecnologici, applicazioni industriali, formazione, standard, governance, sicurezza ed etica.
Secondo un’analisi dell’Università Tsinghua di Pechino e dell’Università Federale di Rio de Janeiro (Brasile), Waico si distingue dagli altri organismi multilaterali, in quanto è aperta all’adesione di ogni Stato sovrano senza nessun prerequisito ideologico: mentre gli organismi occidentali richiedono l’adesione a valori democratici e diritti umani e sono focalizzati sulla sicurezza, la Waico si presenta come neutrale da questo punto di vista. Propone inoltre un’agenda focalizzata sullo sviluppo: l’obiettivo principale è colmare il divario tecnologico globale (“intelligence gap”) e promuovere la capacità dei Paesi in via di sviluppo.
La Waico non è ancora un’autorità sovranazionale in grado di imporre controlli alle aziende o sanzioni agli Stati. La sua importanza è soprattutto geopolitica: la Cina vuole trasformarsi da semplice partecipante alla discussione globale sull’AI a costruttrice di istituzioni e standard, espandendo il proprio soft power: una strategia potenziata dalla decisione di rilasciare i propri modelli open, dunque aperti e disponibili per il cosiddetto ‘Sud globale’.
L’Unione europea punta sulle regole vincolanti
L’Unione europea rappresenta il terzo modello. A differenza degli Stati Uniti, Bruxelles ha adottato una legislazione vincolante: l’AI Act. Per i modelli di intelligenza artificiale general-purpose che possono generare rischi sistemici, la normativa prevede valutazioni delle capacità, analisi e mitigazione dei rischi, protezioni adeguate di cybersicurezza e comunicazione degli incidenti gravi. Le regole si applicano anche alle imprese non europee quando rendono disponibili i propri modelli nel mercato dell’Unione. Dal 2 agosto la Commissione può far rispettare pienamente gli obblighi previsti per i fornitori di modelli general-purpose, anche attraverso sanzioni.
Il 7 luglio Palazzo Berlaymont ha inoltre presentato un piano specifico sull’intelligenza artificiale e la cybersicurezza. Tra gli interventi annunciati figurano una capacità europea indipendente di valutazione dei modelli, un sistema strutturato di accesso alle tecnologie AI più avanzate, una piattaforma sicura per i test informatici e un maggiore impiego dell’AI per individuare e correggere le vulnerabilità delle infrastrutture critiche.
Il programma coinvolgerà Commissione, AI Office, Agenzia europea per la cybersicurezza e Joint Research Centre, affiancando l’AI Act con il Cyber Resilience Act, la direttiva NIS2 e il Cyber Solidarity Act. Tante normative che da una parte sono un punto di forza dell’approccio europeo perché prevedono obblighi giuridici precisi. Dall’altra però comportano una complessità applicativa, mentre molti strumenti tecnici e organismi di valutazione sono ancora in fase di costruzione. Inoltre, l’AI Act non introduce una categoria autonoma per gli agenti: gli obblighi dipendono dal modello utilizzato, dal settore, dal livello di rischio e dalle azioni concretamente affidate al sistema.
