C'è un segnale interessante per chi lavora con poche GPU e non vuole passare al cloud. Il modello K2 Horizon 7B, pubblicato in formato GGUF da IFM, si posiziona sull'Artificial Analysis Intelligence Index in una fascia compresa tra Qwen 3.6 27B e Qwen 3.6 35BA3b. La notizia non arriva da un laboratorio di ricerca con risorse estreme, ma da un test descritto su Reddit: a un primo utilizzo, il modello ha compilato l'ultima versione di llama.cpp per CUDA senza inciampi. È esattamente il tipo di compito che, se svolto bene, dice qualcosa sulla capacità di seguire istruzioni complesse e di restare coerente su più passaggi.

Il punto non è solo il benchmark. Un 7B che si colloca tra modelli da 27 e 35 miliardi di parametri cambia il calcolo per chi valuta deployment self-hosted. In formato GGUF, un modello più piccolo riduce la pressione sulla VRAM e semplifica l'esecuzione su workstation o server locali. Se il punteggio dovesse confermarsi, non sarebbe più necessario accettare un compromesso netto tra qualità delle risposte e costi di hardware. La variabile decisiva diventerebbe la resa per gigabyte di VRAM, non il numero di parametri dichiarato sulla scheda tecnica.

C'è un effetto di secondo ordine che merita attenzione. Quando un modello da 7B compete con architetture molto più grandi, il mercato riceve un incentivo a spostare la concorrenza dall'addestramento su scala smisurata all'efficienza di inference. Per i fornitori di GPU, questo non è neutro: vendite di acceleratori di fascia alta potrebbero perdere parte della loro ineluttabilità per una fascia di utenti che oggi cerca alternative più contenute. Per chi fa deployment on-premise, invece, la combinazione tra GGUF, quantization e runtime come llama.cpp riduce il TCO e tiene i dati locali, con implicazioni dirette sulla sovranità.

Non bisogna però confondere un singolo punteggio con una garanzia. La prova riportata — compilare llama.cpp per CUDA — è un test informale, non una suite completa. Il comportamento su contesti lunghi, sulla generazione di codice in progetti reali o su task di ragionamento resta tutto da verificare. Inoltre, la collocazione su un indice aggregato non dice nulla sulla stabilità dei risultati nel tempo o sulla qualità percepita da chi lo usa in produzione.

Il caso K2 Horizon 7B è comunque un promemoria utile: la frontiera dell'LLM non si sposta solo verso modelli più grandi. Si sposta anche verso modelli più densi, che fanno meglio con meno. Per chi valuta deployment on-premise, esistono trade-off tra precisione della quantization, requisiti di VRAM e qualità percepita: AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti. Se anche una parte del risultato si consolida, il criterio di selezione più interessante non sarà il conteggio dei parametri, ma il rapporto tra capacità reale e risorse necessarie per tenerlo acceso.