Nel subreddit LocalLLaMA, il sospetto che la comunità stia misurando la cosa sbagliata ha preso la forma di una proposta. L'utente Express_Quail_1493 chiede una rivoluzione: meno thread sulla velocità in token/s, più benchmark privati sulla qualità dei modelli, in particolare quando si confrontano livelli di quantization diversi. La regola sarebbe semplice: ognuno costruisce il proprio benchmark, tiene privato il dataset di test e condivide soltanto i grafici con i risultati. L'obiettivo non è un nuovo leaderboard pubblico, ma una rete di segnali comparabili tra utenti che eseguono LLM in locale.

Il problema non è la metrica in sé. Token/s misura il throughput di inference e ha senso quando si deve capire se una GPU o una CPU può reggere un carico. Ma quando diventa il parametro dominante, premia configurazioni e modelli ottimizzati per generare output rapidi, non per rispondere bene. In un contesto self-hosted, dove VRAM e TCO contano quanto la qualità delle risposte, la velocità è una condizione necessaria ma non sufficiente. Eppure il subreddit viene sommerso, ogni poche ore, da thread dedicati proprio a quel singolo numero.

La proposta mette il dito su un punto critico: la quantization. Spostare un modello da FP16 a INT8 o a livelli più aggressivi riduce l'occupazione di VRAM e può rendere l'inference praticabile su hardware consumer. Ma il degrado qualitativo non è lineare: dipende dal modello, dal tipo di quantization e dal dominio d'uso. I benchmark pubblici spesso non catturano questi scostamenti, perché sono addestrati su test standardizzati e perché chi pubblica punteggi può avere interesse a mostrare solo il lato migliore. Qui sta il valore dei benchmark privati: usano domande e task che rispecchiano il lavoro reale di chi li costruisce, non un punteggio astratto.

L'idea di tenere privati i dati di test e condividere solo grafici è più sofisticata di quanto sembri. Riduce il gaming: se nessuno conosce le domande, è più difficile ottimizzare il modello per superare un test specifico. Allo stesso tempo, la condivisione dei grafici mantiene un confronto tra utenti senza esporre dati sensibili o benchmark interni. In azienda, questo schema ricorda le pratiche di valutazione con dataset proprietari, che non finiscono nei leaderboard pubblici ma guidano le decisioni reali di deployment. È una forma di trasparenza selettiva: i risultati circolano, i test no.

Chi ci guadagna? Chi deve scegliere un modello per un caso d'uso concreto e non può permettersi di provare decine di varianti quantizzate. Anche i progetti open-weight potrebbero trarne beneficio indiretto: se la comunità comincia a segnalare quali quantization mantengono la qualità su task lunghi o su domini specifici, i manutentori ricevono un feedback meno distorto rispetto ai soli benchmark standardizzati. Chi ci perde? Chi ha costruito la propria visibilità sulla corsa ai token/s o usa il throughput come principale argomento di vendita. La proposta sposta il centro di gravità dalla velocità pura alla qualità sotto vincoli.

Il segnale strutturale è chiaro. Man mano che gli LLM diventano strumenti di lavoro locali, la valutazione si sposta dalla prestazione assoluta alla prestazione sotto vincoli: quanta qualità rimane dopo la quantization, quanto è stabile il modello su prompt lunghi, quanto costa in energia e hardware mantenerlo. Nel cloud, un benchmark gonfiato si traduce in qualche dollaro in più; on-premise, si traduce in VRAM sprecata, modelli inservibili e tempo perso. Per chi valuta deployment on-premise, i trade-off tra qualità post-quantization, throughput e TCO non si risolvono con una classifica unica; AI-RADAR mette a disposizione framework analitici su /llm-onpremise per leggere questi trade-off senza ridurre tutto a una singola metrica.

La proposta non risolve il nodo della fiducia: un sistema basato sulla condivisione volontaria di grafici può essere lento, frammentato e difficile da verificare. Ma ha il merito di spostare l'attenzione dal rumore alla sostanza, e di ricordare che un LLM utile non è quello che genera più token in fretta, ma quello che risponde bene alle domande giuste.