C’è un mantra silenzioso che serpeggia in molti laboratori di ricerca AI: puntare un Large Language Model contro il web, raccogliere la sua risposta e fidarsi. Saarth Shah e il team di Sixtyfour hanno ribaltato questa logica. Per loro, ogni build degli agenti di ricerca finisce sotto esame spietato – un paniere di domande costruite a mano da esperti, che produce un punteggio oggettivo. Solo ciò che alza il punteggio viene rilasciato. Un’ossessione per la misurazione che sposta il centro di gravità dalla dichiarazione alla dimostrazione.

L’approccio, descritto di recente, riflette una maturazione del settore: man mano che gli LLM escono dai prototipi ed entrano in produzione, la fiducia cieca non basta più. In ambiti regolamentati, o quando si sceglie un deployment on-premise per mantenere la sovranità dei dati, la capacità di validare in modo riproducibile le performance degli agenti diventa un requisito, non un vezzo. Sixtyfour, costruendo uno stack di valutazione come parte integrante del ciclo di sviluppo, indica una via percorribile: domande verificate, metriche quantitative e un processo decisionale basato sull’evidenza.

Il nodo della questione è che gli LLM sono macchine probabilistiche. Senza uno strato di verifica, anche il modello più capace può produrre risultati convincenti ma errati – le cosiddette allucinazioni. Nel software tradizionale, i test automatici sono la norma; per gli agenti AI siamo ancora agli albori. Sixtyfour propone di trattare ogni risposta dell’agente come un’ipotesi da testare, non come un dato di fatto. L’elemento chiave è il coinvolgimento umano nella creazione del dataset di validazione, che ancora il processo a un riferimento di qualità verificabile. È un antidoto alla deriva che vede i modelli valutati da altri modelli, con il rischio di amplificare errori sistemici.

Per chi valuta deployment on-premise, il messaggio è netto: un agente self-hosted richiede una robustezza di verifica ancora maggiore, perché non si può delegare il controllo a servizi cloud di terze parti. L’ownership dei dati implica anche ownership dell’affidabilità. AI-RADAR fornisce framework analitici per soppesare i trade-off tra prestazioni, costo e sovranità, ma la scelta tecnica di Sixtyfour sottolinea un principio universale: misurare, misurare, misurare.

Resta da vedere se questo approccio diventerà prassi industriale o resterà confinato a nicchie esigenti. Il segnale è però forte: l’era del ‘fidati, è un LLM’ sta per finire, e chi investe oggi in evaluation stack si prepara a costruire agenti che non solo parlano, ma dimostrano di sapere di cosa parlano.