Banco di prova · 3 min
Distill: pagare meno l'AI senza farle dimenticare ciò che conta
Un banco di prova per capire quando è possibile ridurre il lavoro e il costo di un sistema AI senza perdere fatti, vincoli o qualità.
Come si riduce il costo di un sistema AI senza ottenere una risposta più economica ma peggiore?
Il problema concreto
Su un progetto lungo, un sistema AI accumula istruzioni, file, risultati intermedi e conversazioni. Continuare a portarsi dietro tutto costa denaro e rallenta il lavoro. Tagliare senza criterio è peggio: basta perdere un vincolo per produrre una risposta elegante e sbagliata.
Il costo non è sempre visibile. A volte si paga in token, altre volte in tempo di attesa, in errori da correggere o in risposte che sembrano plausibili ma saltano un passaggio decisivo. Molte tecniche promettono grandi risparmi, ma spesso li misurano senza contare il costo necessario per controllare che il risultato sia ancora corretto.
La regola che mi sono dato
Distill parte da una regola molto semplice: un risparmio non vale nulla se sparisce anche un solo fatto necessario. Non è un vero risparmio se verificare il risultato costa quanto si è risparmiato. E non è ripetibile se dipende da un trucco che funziona solo su un caso specifico.
Per questo Distill non ottimizza automaticamente i sistemi in uso. È un esperimento isolato che confronta il modo attuale di svolgere un lavoro con una sola modifica alla volta, tenendo fermo tutto il resto.
Come funziona la prova
Prima del test vengono fissati la domanda, i file e l'elenco dei fatti che devono sopravvivere. I fatti includono vincoli espliciti, numeri, nomi, contesto negativo (cosa non va fatto) e le condizioni al contorno che cambiano la risposta.
Poi lo stesso lavoro viene eseguito due volte: una con il metodo attuale e una con la tecnica da provare, per esempio caricando meno materiale, riassumendo quello già usato o usando un modello più piccolo. Alla fine si confrontano consumo, tempo, fatti conservati e costo della verifica. La prova passa solo se restano tutti i fatti e il risparmio effettivo è almeno del 25 per cento.
Che cosa esiste oggi
Il banco di prova è costruito e il controllo interno del suo funzionamento passa. Ho definito il protocollo, le metriche e le soglie. Le due prove su lavori reali previste per decidere se integrare qualcosa, invece, non sono ancora concluse.
Quindi oggi non dichiaro che Distill faccia risparmiare il 25, il 50 o il 90 per cento. Dichiaro che esiste un modo ripetibile per scoprire se una tecnica conviene su un lavoro preciso, senza confondere i numeri di un paper con i risultati della mia azienda.
Quando lo considererò riuscito
Dopo due casi reali, ogni tecnica avrà un verdetto semplice: integrare, restringere l'esperimento o scartarla. Se entrambi i casi falliscono, oppure se la verifica annulla il risparmio, Distill viene chiuso.
Questo è il punto della ricerca: non difendere un nome o un'idea, ma costruire una prova abbastanza severa da dirci anche quando smettere. Se funziona, avrò un modo onesto per abbassare i costi. Se non funziona, avrò evitato di propagare un'ottimizzazione che sembra gratis e invece lo è solo in parte.