La pull request #27851 aperta da jbooth nel repository di llama.cpp tocca un punto che chi esegue LLM su CPU conosce bene: il costo della moltiplicazione matrice-vettore per i formati k-quants. La proposta introduce un'operazione mul_mat a tessere per i k-quants e, secondo la segnalazione su Reddit, accelera l'elaborazione dei prompt su CPU di 3-7 volte sfruttando le istruzioni VNNI con complessità aggiuntiva minima.

Quella che potrebbe sembrare una modifica di basso livello è invece uno snodo strutturale. Nei modelli compressi con k-quants, il collo di bottiglia non è quasi mai il calcolo dei singoli token in generazione: è il prefill, cioè l'elaborazione iniziale del prompt, che richiede di moltiplicare matrici di grandi dimensioni. Se quel passaggio diventa più rapido, l'inerzia percepita delle CPU diminuisce in modo rilevante, soprattutto con prompt lunghi o contesti estesi.

Perché tessere e VNNI cambiano i conti

La tecnica a tessere migliora la località dei dati e riduce il traffico verso la memoria, mentre le istruzioni VNNI eseguono prodotti scalari su interi a 8 bit in modo nativo. Per i k-quants, che comprimono i pesi in rappresentazioni ridotte, questo significa sfruttare meglio la banda disponibile senza dover passare da formati più pesanti. Il fatto che la complessità aggiuntiva sia descritta come minima indica che la modifica può inserirsi nel percorso ggml-cpu senza stravolgere l'architettura del progetto.

Chi segue i deployment on-premise sa che il costo di un'accelerazione del genere non si misura solo in millisecondi. Un server CPU con VNNI può assorbire carichi di inference su modelli k-quants che prima richiedevano una GPU di fascia bassa o media, spostando il punto di pareggio del TCO a favore di hardware già presente nei data center aziendali. Questo non elimina la GPU dai carichi ad alto throughput o di training, ma ridefinisce i margini per le installazioni air-gapped, per l'edge e per le piccole infrastrutture self-hosted. Per chi valuta deployment on-premise, esistono trade-off da analizzare; AI-RADAR offre framework analitici su /llm-onpremise per farlo senza semplificazioni.

La direzione di fondo è la stessa che si vede in altri progetti open source: la corsa non è più solo verso GPU più grandi, ma verso kernel più efficienti su hardware già disponibile. Se il guadagno tra 3 e 7 volte si conferma su architetture diverse, i produttori di chip e gli integratori dovranno considerare le istruzioni VNNI non come un extra, ma come una leva per l'inference locale. Allo stesso tempo, chi sviluppa modelli pensati per il self-hosted avrà un incentivo in più a investire nei formati k-quants, perché il divario con i formati a precisione più alta si riduce proprio nella fase più costosa.

La pull request non cambia da sola il panorama dei LLM, ma rende più concreta una prospettiva che finora restava teorica: usare CPU commodity per prompt lunghi senza pagare il prezzo del prefill lento. È una notizia che riguarda meno chi fa training su cluster GPU e molto chi li deve mettere in produzione vicino ai dati.