Tre modelli open-weight — GPT-OSS 120B, DeepSeek-V4 Flash e Gemma-4 31B — hanno centrato un risultato che ridisegna gli equilibri della valutazione automatica. Su un campione di 200 domande di matematica, le loro decisioni pass/fail sono statisticamente indistinguibili da quelle di Claude Opus 4.7 e Gemini 3.1 Pro, ma con un costo inferiore di due ordini di grandezza (fino a 100 volte in meno).

Il dato arriva da un esperimento su IMO-GradingBench, un benchmark per la correzione di dimostrazioni matematiche in linguaggio naturale. Non si tratta solo di un risparmio estemporaneo: apre la porta a un’infrastruttura di giudizio replicabile in locale, senza dipendere da API di terze parti e con la possibilità di mantenere i dati sotto il proprio controllo.

Il team aveva inizialmente ipotizzato che un voto a maggioranza dei tre modelli economici rappresentasse la scelta budget ottimale. La maggioranza ha effettivamente eguagliato le prestazioni dei modelli frontier, ma senza migliorare il singolo più forte. Solo estendendo l’analisi all’intero benchmark da 1000 istanze e applicando la regola dell’unanimità (tutti e tre devono dare il via libera) si è raggiunta la massima concordanza complessiva e la massima precisione. In quattro esecuzioni replicate, il divario tra una run e l’altra è risultato il più contenuto, segnale di una coerenza che mancava alle alternative.

C’è un caveat importante: la regola dell’unanimità è stata identificata a posteriori e richiede validazione indipendente prima di diventare uno standard ingegneristico. Tuttavia, la direzione è chiara. Non serve più la potenza di fuoco di un modello da centinaia di miliardi di parametri ospitato su infrastrutture irraggiungibili per ottenere giudizi affidabili su compiti complessi.

Per chi progetta pipeline di valutazione on-premise, questo cambia le carte in tavola. Gemma-4 31B, con la giusta quantization, può essere servito su una singola GPU consumer con 24 GB di VRAM, mentre DeepSeek-V4 Flash e GPT-OSS 120B richiedono più memoria ma restano gestibili su server con 4-8 GPU di fascia media. Il Total Cost of Ownership crolla quando si può evitare la bolletta mensile delle chiamate API e mantenere l’intero flusso dentro il proprio perimetro di rete. In contesti dove la sovranità dei dati non è negoziabile — istituti di ricerca, dipartimenti universitari, gare scolastiche, aziende con requisiti GDPR stringenti — avere un giudice locale, economicamente sostenibile e trasparente non è più un lusso.

A livello strutturale, l’esperimento segnala un’accelerazione nella commoditizzazione dell’AI giudicante. Se prima serviva un accesso privilegiato a modelli di fascia alta per validare i sistemi di ragionamento matematico, ora chiunque può assemblare un panel di giudici open e ottenere risultati competitivi. Questo sposta l’ago della bilancia dai vendor cloud a chi possiede i modelli e l’hardware, ridisegnando gli incentivi per chi sviluppa benchmark e tool di evaluation.

C’è anche un effetto di secondo ordine sulla riproducibilità scientifica. Con giudici low-cost e auto-ospitati, replicare esperimenti di valutazione diventa fattibile per laboratori con budget limitati, senza la scusa del costo proibitivo delle API. La comunità può adottare protocolli di giudizio uniformi, verificabili e indipendenti, aumentando la robustezza dei confronti tra modelli.

Il messaggio per chi architetta stack locali è netto: la convenienza economica non è più in contrasto con le prestazioni. L’hardware necessario per eseguire questi modelli è già presente in molti datacenter aziendali, e l’uso di metriche come la precisione del voto unanime fornisce un parametro operativo semplice da implementare e monitorare.