Appunti da dentro il lavoro.
Scrivo quando ho qualcosa di specifico da dire, e non capita spesso. Tutto quello che c'è qui viene da sistemi che girano, non da una slide di conferenza.
Non è un blog. Sono appunti che nascono da incarichi reali, scritti quando un problema si è ripetuto abbastanza volte da avere una forma riconoscibile.
Tornano tre temi. Il primo è il confine dell'autonomia — quanta ne regge davvero un'organizzazione, e perché il sistema più autonomo quasi mai è quello giusto. Il secondo è la misura: come si verifica un sistema LLM senza costruire un'infrastruttura di valutazione che nessuno esegue due volte. Il terzo è la distanza fra una demo che funziona e un sistema che gira in produzione dentro un settore regolamentato, che è quasi sempre più lunga di quanto sembri e quasi mai per motivi tecnici.
I nomi dei clienti non ci sono, di proposito. Quello che conta è il pattern, e il pattern si generalizza.
Human-in-the-loop: la persona nel sistema
«Mettiamo un umano in mezzo» può voler dire cinque cose diverse, con costi e garanzie opposti. I pattern, e come capire se la revisione funziona.
Leggi →LLM-as-judge: l'AI che valuta l'AI
Usare un modello per valutarne un altro funziona, ma solo dopo averlo calibrato contro giudizi umani. Le varianti, i bias documentati e il costo vero.
Leggi →Golden dataset e test set
Senza un insieme di esempi con la risposta attesa, «funziona meglio» resta un'opinione. Come si costruisce il metro che dice se stai migliorando.
Leggi →Quando non automatizzare
Il sistema più autonomo quasi mai è quello giusto. Appunti sul progettare l'AI attorno al vincolo invece che contro il vincolo.
Leggi →Come si testa un sistema LLM
Verifica gli argomenti prodotti dal modello, non la sua prosa. Una suite di regressione deterministica per retrieval e tool call, che abbassa anche i costi.
Leggi →Da sei mesi a poche ore
Come un ente di ricerca è passato da un processo manuale di sei mesi per aggiornare le proprie linee guida a una pipeline agentica in produzione.
Leggi →