Appunti da dentro il lavoro.
Scrivo quando ho qualcosa di specifico da dire, e non capita spesso. Tutto quello che c'è qui viene da sistemi che girano, non da una slide di conferenza.
Non è un blog. Sono appunti che nascono da incarichi reali, scritti quando un problema si è ripetuto abbastanza volte da avere una forma riconoscibile.
Tornano tre temi. Il primo è il confine dell'autonomia — quanta ne regge davvero un'organizzazione, e perché il sistema più autonomo quasi mai è quello giusto. Il secondo è la misura: come si verifica un sistema LLM senza costruire un'infrastruttura di valutazione che nessuno esegue due volte. Il terzo è la distanza fra una demo che funziona e un sistema che gira in produzione dentro un settore regolamentato, che è quasi sempre più lunga di quanto sembri e quasi mai per motivi tecnici.
I nomi dei clienti non ci sono, di proposito. Quello che conta è il pattern, e il pattern si generalizza.
Encoder, esperti e memoria
Cosa c'è davvero sotto i modelli open che il cliente ti nomina in call, e le quattro domande che spostano il preventivo.
Leggi →Il contesto è un budget
Al crescere del contesto la qualità scende, e nessuno te lo dice. Perché il compact non basta, cosa cambia con l'handoff, e a cosa serve vedere il numero.
Leggi →Dalle traces ai casi di test
Una trace dice cos'è successo. Un caso di test dice cosa doveva succedere. Cosa deve esserci nel record perché il primo diventi il secondo, sei mesi dopo.
Leggi →Human-in-the-loop: la persona nel sistema
«Mettiamo un umano in mezzo» può voler dire cinque cose diverse, con costi e garanzie opposti. I pattern, e come capire se la revisione funziona.
Leggi →LLM-as-judge: l'AI che valuta l'AI
Usare un modello per valutarne un altro funziona, ma solo dopo averlo calibrato contro giudizi umani. Le varianti, i bias documentati e il costo vero.
Leggi →Golden dataset e test set
Senza un insieme di esempi con la risposta attesa, «funziona meglio» resta un'opinione. Come si costruisce il metro che dice se stai migliorando.
Leggi →Quando non automatizzare
Il sistema più autonomo quasi mai è quello giusto. Appunti sul progettare l'AI attorno al vincolo invece che contro il vincolo.
Leggi →Come si testa un sistema LLM
Verifica gli argomenti prodotti dal modello, non la sua prosa. Una suite di regressione deterministica per retrieval e tool call, che abbassa anche i costi.
Leggi →Da sei mesi a poche ore
Come un ente di ricerca è passato da un processo manuale di sei mesi per aggiornare le proprie linee guida a una pipeline agentica in produzione.
Leggi →