Un'ondata di ottimizzazioni software e hardware—dalle modifiche al sampling di llama.cpp alle innovazioni nella quantization su CPU e GPU—sta aumentando drasticamente velocità ed efficienza dell'inference LLM locale, rendendo l'AI self-hosted più pratica che mai.
Un motore di inference in C99 senza dipendenze esterne spinge il modello ternario BitNet da 2 miliardi di parametri a 36,25 token al secondo su CPU Intel Xeon, usando SIMD custom e istruzioni VNNI. Ma il vero collo di bottiglia non è la CPU: a batch ...
Una PR di llama.cpp modifica il dispatch SYCL da VEC a TILE per cache KV quantizzate, portando a un incremento fino al 169% nella velocità di decodifica su GPU Intel Battlemage a contesti lunghi. I test mostrano guadagni significativi già a 32K, apre...
Un report indipendente analizza il modello LFM2.5-2.6B di LiquidAI su Raspberry Pi, testando decine di combinazioni di quantization GGUF e cache KV. I risultati mostrano che con 8 GB di RAM il degrado è trascurabile, ma alcuni quant nascondono cadute...
I benchmark locali di un utente mostrano DeepSeek V4 Flash 0731 in formato MXFP4 al top per efficienza e qualità, raggiungendo 1.000 token/s in prefill e 90 token/s in generazione. Un risultato che accende i riflettori sulla quantization a bassa prec...
Una pull request elimina il round-trip CPU-GPU per il sampling MTP in llama.cpp. Su una RTX 5090 il guadagno sfiora l’8%, su una Tesla P40 è del 4% a causa della banda memoria ridotta. Un miglioramento netto senza costi aggiuntivi per chi fa inferenc...
Un nuovo orchestratore sfrutta le differenze di banda tra NVLink, InfiniBand e TCP, più la memoria condivisa CXL 3.0, per ridurre la latenza di trasferimento della cache KV fino a 18x. Un segnale strutturale per chi costruisce cluster on-premise.
Il runtime che alimenta milioni di LLM locali aggiunge il supporto alla predizione multi-token per il modello MoE di DeepSeek, azzerando la latenza e rafforzando la tesi del self-hosted come alternativa matura al cloud.
