Distill: esperimenti per usare meno token con l’AI

Il progetto: mandare meno testo all’AI

Quando un progetto dura a lungo, l’AI può ricevere decine di pagine di conversazioni, documenti e decisioni precedenti. Quel testo occupa token: le unità con cui il modello conta ciò che legge e scrive. Distill è il progetto sperimentale con cui stiamo cercando di ridurli, conservando le informazioni necessarie a svolgere bene il compito.

Per esempio: un agente deve riprendere il lavoro su un sito. Gli serve davvero tutta la cronologia, oppure bastano i risultati già ottenuti, i controlli ancora da fare e le decisioni in vigore? Abbiamo provato entrambe le richieste sullo stesso modello. In quel caso l’input è sceso del 78,4% e i dieci fatti controllati erano ancora presenti. Una delle azioni suggerite era però sbagliata. Il risparmio di token, da solo, non ci basta per considerare riuscita la prova.

Puoi già scaricare una scheda per selezionare le informazioni del tuo progetto, con un esempio completo, le tre fonti del caso e i dati del confronto. È un kit da compilare e verificare: non contiene un programma che comprime automaticamente le tue conversazioni. Non richiede installazioni, account o invio di dati. Inizia dal README in italiano o inglese.

Scarica scheda, esempio e dati · ZIP

Che cosa doveva capire l’AI nella nostra prova

La prova risale al 6 ottobre 2026 e riguarda il lavoro per rendere questo sito trovabile su Google. Alcuni indirizzi erano già stati corretti e Google aveva accettato due richieste di indicizzazione il giorno prima. Dovevamo ancora verificare quale indirizzo Google considerasse principale per quelle pagine.

Il testo abbreviato doveva mantenere una distinzione importante: una richiesta accettata da Google non significa che la pagina sia già presente nell’indice. Doveva anche ricordare che i problemi agli indirizzi erano già stati corretti, per evitare che l’AI proponesse di rifare lo stesso lavoro.

Il compito successivo era controllare le due pagine il 12 ottobre in Google Search Console e salvare l’esito. La scheda sopra riporta quella situazione storica; non descrive lo stato attuale del sito. Nel pacchetto trovi le tre fonti con cui verificare il caso.

I risultati: da 27.781 a 5.991 token in ingresso

Abbiamo eseguito lo stesso compito su un modello locale, prima fornendo il contesto completo e poi selezionando solo alcune sezioni. L’input è passato da 27.781 a 5.991 token: il 78,4% in meno. Tutti i dieci fatti previsti dal nostro controllo comparivano ancora nella risposta. Questo verifica quei dieci fatti, non garantisce che ogni sfumatura del testo sia rimasta intatta.

La risposta basata sul testo ridotto proponeva di interrompere il monitoraggio se le impressioni non superavano dieci. Le impressioni sono le apparizioni del sito nei risultati di ricerca; la procedura non prevedeva quella soglia. Abbiamo respinto la raccomandazione. Per usare meno token nel lavoro reale dobbiamo verificare anche ciò che l’AI decide di fare con le informazioni conservate.

La richiesta completa ha impiegato 64,98 secondi; ripetuta identica, 28,23. Quella ridotta, 31,22: non era quindi la più veloce. Il comportamento della cache non è stato misurato. I tempi escludono preparazione e revisione; non abbiamo conteggiato hardware ed elettricità. Questa prova dimostra un input più corto, non un risparmio economico complessivo.

Come provare il kit sul tuo progetto

Scarica il pacchetto e apri la scheda vuota. Scegli un compito che stai per affidare all’AI e tre informazioni indispensabili per eseguirlo. Per ciascuna indica il documento da cui proviene e la data. Se non trovi la fonte, scrivi «da verificare».

Aggiungi il lavoro già concluso, le decisioni ancora valide e le azioni che l’AI non può eseguire senza permesso. Scrivi poi il prossimo passo previsto, con il responsabile e il risultato atteso. Usa questa scheda per vedere quanto testo ti serve davvero, conservando i documenti originali per i controlli.

Prima di agire, confronta la risposta con quelle fonti: i fatti sono corretti? L’azione proposta è giustificata e autorizzata? Se manca un dato o la risposta introduce una regola nuova, recupera l’informazione e correggi il testo. Il README contiene anche un esempio deliberatamente alterato per esercitarti a riconoscere il problema.

Che cosa resta da dimostrare

Per un progetto breve può bastare una nota manuale aggiornata. Puoi conservarla anche in Git, che mantiene le versioni dei file. La scheda serve a scegliere e controllare le informazioni da dare all’AI; non sostituisce la cronologia dei documenti.

Esistono già sistemi di compattazione del contesto e riassunti strutturati. Nel README trovi i riferimenti a OpenAI, LLMLingua e Factory. Stiamo studiando come ridurre l’input su compiti reali e con quali controlli: non abbiamo dimostrato di fare meglio di quei sistemi.

I primi esperimenti di Distill contavano parole, non token: una riduzione dell’83,2% conservava cinque fatti; un’altra perdeva due scadenze ed è stata scartata. Queste misure restano distinte dal confronto in token del 6 ottobre.

Il risultato attuale riguarda un compito e un modello. Servono prove su altri progetti e una misura del lavoro necessario a preparare e verificare il testo ridotto. L’obiettivo resta usare meno token senza compromettere il risultato; il kit permette già di provare il metodo e riconoscerne i limiti.