Una manciata di righe di codice in una pull request di llama.cpp può rendere le GPU Intel Battlemage improvvisamente competitive per l’inference LLM a contesti lunghi. La PR #26689 modifica il criterio di dispatch del kernel SYCL per FlashAttention quando la cache KV è quantizzata (q4_0 o q8_0): invece di instradare la decodifica sul kernel VEC, la dirotta sul kernel TILE. Sul banco di prova personale dell’autore, una scheda Battlemage non specificata, il cambio produce accelerazioni che a 118.000 token di contesto arrivano quasi a triplicare i token al secondo: da 12,99 a 29,61 t/s per Qwen3.6-35B con KV q4_0 (+128%), e da 5,06 a 13,59 t/s per Gemma 4 12B (+169%).

L’effetto non è limitato ai 118K: già a 32.000 token di contesto i miglioramenti vanno dal 42% al 74% sui modelli testati. L’intervento è talmente circoscritto che la PR aggiunge anche una variabile d’ambiente – GGML_SYCL_FA_DECODE_KERNEL – per confrontare facilmente i due percorsi (vec, tile, auto) con test A/B.

Dietro questi numeri c’è una lezione più ampia. Intel Battlemage, con la sua fascia di prezzo intorno ai 250 dollari per la B580, è stata spesso considerata un’opzione da gaming o al più per piccoli carichi di inference. Qui vediamo che una singola ottimizzazione software, applicata a un backend SYCL ancora giovane, può spalancare contesti di lavoro finora riservati a GPU con molta più VRAM e costi ben superiori. Per chi gestisce deployment on-premise di LLM open source – pensiamo a uffici legali, PMI sanitarie, centri di ricerca con dati sensibili – la prospettiva di servire modelli da 35 miliardi di parametri con una cache KV quantizzata su una scheda consumer diventa improvvisamente concreta.

La questione del costo totale di possesso (TCO) è centrale. Una scheda NVIDIA con prestazioni comparabili a contesti lunghi costa oltre 1.500 dollari, mentre la B580 si trova a circa 250. Anche considerando la necessità di ulteriori ottimizzazioni e un ecosistema software meno maturo, il differenziale è tale da rendere attraente l’investimento in sperimentazione. Se questo approccio si consolida, potrebbe erodere il predominio di NVIDIA nell’inference on-premise, spingendo i vendor di software a investire di più sui backend SYCL e Vulkan, con benefici a cascata per l’intero ecosistema aperto.

Certo, bisogna essere prudenti: la PR è aperta e non ancora integrata, i benchmark sono riportati dall’autore, e con la multi-token prediction (MTP) attiva i guadagni si ridimensionano (solo +14% in un test a 118K). Manca una validazione indipendente sulle diverse SKU Battlemage. Ma il segnale rimane: il potenziale di ottimizzazione hardware-lato software sui backend SYCL è enorme, e progetti come llama.cpp stanno fungendo da laboratorio per abbattere le barriere d’ingresso nell’inference locale. Se i test indipendenti confermeranno le cifre, la domanda per i team IT sarà se valga la pena inserire le Battlemage nella rosa d’acquisto accanto alle solite NVIDIA, oppure se puntare su un ecosistema che potrebbe sbloccare ulteriori guadagni con i prossimi aggiornamenti del runtime Intel.