C’è una sensazione strisciante che inizia a circolare con una certa insistenza: la competizione sui benchmark tra Qwen e Gemma sta forse entrando in una fase di stallo. L’hanno notato in molti, tra addetti ai lavori e semplici osservatori sui social, dove l’argomento è già emerso in modo sparso. Non si tratta ancora di un’analisi strutturata, ma di un sospetto collettivo che merita attenzione, soprattutto se si guarda alla questione con gli occhi di chi deve scegliere un LLM da mettere in produzione su infrastruttura propria.

Il cuore del problema è noto a chi segue l’evoluzione dei modelli open: i benchmark pubblici – MMLU, HumanEval, HellaSwag e compagnia – stanno diventando obiettivi sempre più saturi. Quando due famiglie di modelli come Qwen e Gemma si avvicinano a valori percentuali ormai asintotici, la differenza tra un 86,4% e un 86,7% rischia di essere statisticamente irrilevante, ma di alimentare titoli e discussioni fuorvianti. La domanda vera non è più “chi vince”, ma “cosa succede quando questi modelli escono dalla comfort zone dei dataset standard e incontrano i carichi di lavoro veri, quelli che girano su server aziendali, spesso senza connessione a internet e con requisiti stringenti di latenza e costo”.

Per chi sceglie un LLM per deployment on-premise o self-hosted, i numeri da capire sono altri. Contano la memoria VRAM necessaria per l’inference a un dato livello di quantization, la capacità di mantenere una finestra di contesto ampia senza degradare le prestazioni, il comportamento con prompt lunghi o strutturati, e la stabilità dell’intero stack quando si scala su più GPU. Queste sono le metriche che fanno la differenza tra un progetto pilota e un servizio produttivo, e che raramente compaiono nelle classifiche ufficiali. Non è un caso che molti team di enterprise guardino con interesse ai framework di serving come vLLM o TGI, che permettono di testare i modelli in condizioni realistiche, piuttosto che fidarsi dei soli punteggi.

Nel frattempo, lo stallo percepito tra Qwen e Gemma potrebbe anche nascondere un riposizionamento strategico. I laboratori che sviluppano questi LLM potrebbero aver deciso di spostare risorse sul fine-tuning per compiti specifici, sul miglioramento dell’efficienza computazionale o sull’integrazione con tool esterni, aspetti che non si riflettono immediatamente nei benchmark tradizionali. Se così fosse, il silenzio dei numeri sarebbe in realtà il preludio a un’evoluzione più profonda, tutta interna all’architettura dei modelli e poco visibile dall’esterno.

C’è poi il fattore percezione. In un mercato in cui i rilasci si susseguono a ritmo serrato, un apparente pareggio può essere letto come mancanza di innovazione. Ma l’esperienza insegna che spesso i miglioramenti più significativi in ambito LLM non si misurano in punti percentuali, ma nella capacità di un modello di essere messo in sicurezza, di rispettare vincoli di compliance e di funzionare in modo affidabile su hardware consumer o su un cluster di GPU gestito internamente. Qui la battaglia è tutt’altro che ferma: è soltanto più difficile da raccontare con un singolo grafico.