Il leaderboard open source whatmodel.sh, appena pubblicato, aggrega risultati benchmark con una trasparenza inusuale: 22.113 risultati, 987 benchmark, 1.011 fonti, tutti collegati alla pubblicazione originale. Per i modelli testuali, il framework è ancora più granulare: 18.755 risultati per 1.211 modelli su 617 benchmark. Da questi dati emerge un fatto specifico: i modelli open-weight cinesi inseguono i modelli chiusi statunitensi con un ritardo di circa sette mesi. La fonte distingue inoltre 14.436 valutazioni indipendenti e 7.677 punteggi dichiarati dai laboratori.

Il dato del ritardo di sette mesi è interessante, ma l'architettura dei dati conta almeno quanto la classifica. In un settore dove i benchmark proprietari spesso vengono scelti ad arte, separare le valutazioni condotte da terzi da quelle auto-dichiarate permette di isolare il rumore. Qui le valutazioni indipendenti sono quasi il doppio di quelle di laboratorio. Questo cambia la lettura: non stiamo guardando una gara tra vendor che si auto-valutano, ma un corpus in cui ricercatori accademici e organizzazioni terze hanno eseguito i modelli da soli. È un passaggio metodologico fondamentale per chi deve decidere quali LLM portare in produzione.

Per un deployment self-hosted, la distanza temporale tra modelli aperti cinesi e modelli chiusi americani ha implicazioni concrete. Un modello open-weight può essere eseguito localmente, senza passare da API di terze parti e senza condividere dati sensibili con endpoint esterni. Questo riduce un rischio di sovranità dei dati, ma sposta altrove il costo: servono infrastrutture con VRAM adeguata, scelte di quantization per ridurre l'ingombro in memoria, e una pipeline di inference ottimizzata. Il TCO non è solo il costo delle GPU, ma anche il personale che gestisce aggiornamenti, audit e manutenzione. Chi valuta questo tipo di deployment non può fermarsi alla classifica: deve verificare se il modello open-weight mantiene la qualità dopo la quantization, se il framework di serving gestisce il contesto richiesto e se la licenza consente l'uso commerciale previsto. AI-RADAR offre strumenti analitici su /llm-onpremise per confrontare questi trade-off.

C'è poi un effetto di secondo ordine: quando i modelli open-weight si avvicinano ai modelli chiusi, l'incentivo per i fornitori cloud a mantenere API proprietarie si rafforza, ma si rafforza anche l'alternativa locale. Le aziende che hanno già investito in infrastruttura on-prem possono valutare modelli cinesi open-weight non per ragioni ideologiche ma per ridurre la dipendenza da un singolo fornitore. Questo non elimina i vincoli: la trasparenza dei benchmark pubblicati è necessaria ma non sufficiente, e i modelli open-weight richiedono comunque aggiornamenti continui, test su dati interni e monitoraggio delle regressioni. La presenza di un dataset aperto con licenza CC BY-SA 4.0 e codice MIT rende però possibile il controllo indipendente delle affermazioni dei laboratori.

Il leaderboard non dice quando i modelli open-weight cinesi raggiungeranno la parità, e non pretende di sostituire le valutazioni interne. Mostra però che la corsa non è più solo tra modelli: è una corsa tra infrastrutture di misurazione. Chi dispone di benchmark indipendenti e riproducibili ha un vantaggio informativo nel decidere cosa eseguire on-premise. Il ritardo di sette mesi, in quest'ottica, è meno un verdetto e più un punto di partenza per una domanda diversa: quanto vale, in produzione, la differenza tra un modello chiuso via API e un modello aperto che può essere eseguito e verificato in casa? La risposta non sta in un singolo punteggio, ma nella qualità dei dati che si usano per scegliere.