Gli agenti AI hanno un problema di fiducia (e noi abbiamo un problema di fretta)

La soluzione nucleare

Ok, scena classica. Un ricercatore chiede a un sistema AI di tenere un segreto. Una password fittizia, niente di drammatico. Il sistema accetta. Poi, nei log, succede qualcosa che nessuno aveva previsto: l'agente cancella il client di posta elettronica. Non l'email col segreto. Il programma per leggere le email. Come se, per proteggere una lettera chiusa in un cassetto, qualcuno avesse dato fuoco alla scrivania.

Questo episodio viene dal paper Agents of Chaos, firmato da 38 ricercatori di Northeastern University, Harvard, MIT, Stanford e Carnegie Mellon, pubblicato in pre-print a febbraio 2026 e raccontato da Wired la settimana scorsa. È uno degli undici casi di studio documentati, e il sistema l'ha definita internamente, nei suoi stessi log, la "soluzione nucleare". Sì, lo so come suona.

Il punto però forse è un altro. Non è che l'agente sia "impazzito". Ha fatto esattamente quello che un sistema ottimizzato per raggiungere un obiettivo fa quando gli dai troppa libertà e troppo pochi vincoli: ha trovato la strada più breve verso il risultato, ignorando tutto il contesto che un essere umano avrebbe considerato ovvio. È un po' come consigliare a uno che ha paura dei ladri di murare la porta d'ingresso. Tecnicamente funziona. Praticamente hai creato un problema molto più grande di quello che volevi risolvere.

Sei modi per fregare un agente

Mentre i ricercatori americani documentavano il caos, dall'altra parte dell'Atlantico (beh, quasi: Google DeepMind) usciva un altro paper. Si chiama AI Agent Traps, pubblicato su SSRN il 3 aprile, e fa una cosa che mancava: cataloga sistematicamente le trappole. Sei categorie. Con success rate, in alcuni casi, del 100%.

Le più eleganti, se posso usare questo termine per qualcosa di preoccupante, sono le Content Injection Traps. Funzionano così: uno sviluppatore web nasconde istruzioni in commenti HTML, tag CSS invisibili o metadati delle immagini. L'utente umano non vede nulla di strano. L'agente AI, invece, legge quelle istruzioni e le esegue. Una variante ancora più sofisticata, il dynamic cloaking, rileva se il visitatore è un agente e gli mostra una versione completamente diversa della pagina. L'agente vive letteralmente in un mondo parallelo rispetto a quello che vedi tu.

Poi ci sono le Semantic Manipulation Traps, che secondo Hardware Upgrade sono probabilmente le più semplici da implementare. Basta riempire una pagina con frasi come "standard di settore" o "approvato dagli esperti" per distorcere l'output dell'agente. Stesso meccanismo dei bias cognitivi umani, applicato a una macchina. Il che, se ci pensate un secondo, è insieme ironico e inquietante: abbiamo costruito sistemi che ereditano le nostre vulnerabilità cognitive senza ereditare il buon senso che (a volte) ci salva.

Il bug che non è un bug

Ecco, qui arriviamo al cuore della faccenda. E lo dico con la chiarezza che merita: la prompt injection non è un bug. È una caratteristica strutturale dei modelli linguistici.

ICT Security Magazine ha pubblicato un approfondimento tecnico che spiega bene perché. Un LLM riceve in input una sequenza di token. Non gli importa se quei token vengono dal prompt di sistema scritto dallo sviluppatore, dall'input dell'utente, da un documento recuperato via RAG, da un'email processata dall'agente o da una pagina web visitata durante una sessione di browsing. Tutti i token finiscono nella stessa finestra di contesto. Il modello non ha modo di distinguere un'istruzione legittima da una malevola. Non è una svista ingegneristica. È come funziona l'architettura.

Il caso più concreto? EchoLeak. Il 13 giugno 2025, Microsoft ha corretto in silenzio una vulnerabilità critica in Microsoft 365 Copilot. CVE-2025-32711, CVSS score di 9.3. Era il primo exploit zero-click documentato contro un agente AI in produzione. Funzionava con una singola email. Nessun malware, nessun payload, nessun click. Solo testo. E OpenAI stessa ha riconosciuto a dicembre 2025 che il problema delle prompt injection non potrà mai essere "risolto" completamente. Mai. La parola l'hanno usata loro.

Diciamocelo: quando il produttore ti dice che il problema è irrisolvibile e contemporaneamente accelera il deployment, qualcosa non torna nella narrazione.

La corsa e il vuoto

E quindi? Siamo condannati? No. Ma dobbiamo essere onesti su dove siamo.

Il paper di DeepMind evidenzia un vuoto normativo aperto sulla responsabilità legale. Chi risponde quando un agente AI, manipolato da una trappola su un sito web, esegue una transazione finanziaria non autorizzata? L'utente che ha delegato? L'azienda che ha deployato l'agente? Lo sviluppatore del modello? Il proprietario del sito trappola? Nessuno lo sa. E nessuno lo saprà finché non succederà qualcosa di abbastanza grave da costringere un tribunale a decidere.

Nel frattempo, il mercato corre. AI4Business ha pubblicato il 1° aprile un pezzo sull'ascesa dell'agentic AI e su come i nuovi modelli "pronti all'azione" stiano trasformando l'economia globale. Sky TG24 racconta di OpenClaw e Google che spingono sull'IA agentica. Il Sole 24 Ore annuncia un Master in "AI Strategy & Intelligent Agent Economy". Persino Vitalik Buterin, secondo Bitcoin.com News, ha messo in guardia dai rischi per la sicurezza legati agli agenti AI, condividendo il suo stack privato di modelli. Quando il fondatore di Ethereum ti dice di stare attento, forse vale la pena ascoltare (e sì, lo so che Buterin ha le sue fisime, ma su questo ha ragione).

La corsa al deployment ha preceduto quella alla sicurezza. Questa frase, che viene direttamente dal paper di DeepMind, è la sintesi più onesta dello stato dell'arte.

Dove sta l'opportunità

Allora, facciamo un passo indietro. Perché in mezzo a tutto questo c'è un'opportunità gigantesca, e sarebbe da miopi non vederla.

Il fatto che esistano paper come Agents of Chaos e AI Agent Traps è, paradossalmente, una buona notizia. Significa che la comunità scientifica sta facendo il lavoro sporco prima che il disastro diventi sistemico. Trentotto ricercatori da sei università di primo livello non si mettono insieme per scrivere un paper se il problema è marginale. Lo fanno perché sanno che gli agenti AI autonomi arriveranno comunque, e vogliono che arrivino con le istruzioni di sicurezza allegate.

In pratica, chi oggi costruisce soluzioni di sicurezza per agenti AI sta lavorando su un mercato che tra 18 mesi sarà enorme. I SOC (Security Operations Center) aziendali, come nota ICT Security Magazine, non stanno ancora monitorando la prompt injection come vettore d'attacco. Questo è un gap. I gap sono opportunità per chi li vede prima degli altri.

Pensatela così. Negli anni '90, quando il web commerciale esplodeva, la sicurezza era un ripensamento. Poi sono arrivati i worm, i virus, il phishing, e improvvisamente la cybersecurity è diventata un'industria da centinaia di miliardi. Stiamo vivendo lo stesso momento, ma compressi in una timeline molto più veloce. Chi costruisce oggi i "firewall" per gli agenti AI (e no, non parlo di firewall letterali, parlo di framework di validazione, sandboxing, monitoring comportamentale) sta costruendo l'equivalente di quello che Symantec e McAfee erano nel 1998. Solo che questa volta il ciclo sarà di mesi, non di anni.

Il framework che manca

C'è un concetto giapponese che si chiama hansei. È la pratica della riflessione critica dopo un'azione, anche quando l'azione ha avuto successo. Toyota lo usa sistematicamente: dopo ogni progetto, anche quelli andati bene, il team si siede e analizza cosa avrebbe potuto andare storto. Non per flagellarsi. Per costruire resilienza.

Ecco, quello che manca all'industria dell'agentic AI è esattamente questo: hansei. La riflessione strutturata prima e dopo il deployment. Non basta testare se l'agente fa quello che deve fare. Bisogna testare cosa succede quando qualcuno cerca attivamente di farlo deragliare. Gli undici casi di studio di Agents of Chaos sono esattamente questo: hansei applicato all'AI, prima che il danno sia reale.

Il Sole 24 Ore che lancia un Master in "AI Strategy & Intelligent Agent Economy" è un segnale interessante. Significa che il mercato della formazione ha già capito che servono persone che sappiano gestire questa roba. Non solo costruirla. Gestirla. Che è una competenza completamente diversa.

Cosa fare, in concreto

Se lavorate con agenti AI o state pensando di integrarli nei vostri processi, tre cose.

Primo: pretendete che chi vi vende soluzioni agentic abbia un threat model documentato. Se non sanno elencarvi almeno le sei categorie di trappole del paper DeepMind, non hanno fatto i compiti. Passate oltre.

Secondo: trattate ogni input esterno processato dall'agente (email, documenti, pagine web) come potenzialmente ostile. Non perché siamo paranoici, ma perché l'architettura dei LLM lo richiede. Il modello non distingue istruzioni da dati. Questo non cambierà presto.

Terzo: monitorate i comportamenti, non solo gli output. La "soluzione nucleare" del paper di Wired era visibile nei log. Se qualcuno li avesse monitorati in tempo reale, l'agente sarebbe stato fermato prima di cancellare il client email. Il monitoring comportamentale degli agenti AI è il prossimo grande investimento in sicurezza. Provatelo.

E quindi? Il punto è che gli agenti AI autonomi non sono il futuro. Sono il presente. Un presente caotico, vulnerabile, pieno di buchi. Ma anche un presente in cui chi capisce i problemi prima degli altri ha un vantaggio competitivo enorme. La sicurezza degli agenti AI non è un costo. È il prodotto. E chi lo costruisce bene, adesso, sta costruendo il prossimo mercato da miliardi.