llama.cpp e metodi di speculative decoding stanno riducendo l'uso di memoria per cache KV e offload MoE, consentendo contesti più lunghi su GPU limitate. Riproducibilità e visibilità della VRAM stanno diventando questioni centrali per l'inference locale.
llama.cpp ha introdotto il supporto per la cache KV in FP8, riducendo l'occupazione di VRAM durante l'inference di LLM locali. Per chi valuta deployment self-hosted, il vantaggio immediato è gestire contesti più ampi su hardware esistente, ma il camb...
Un repository Hugging Face firmato Tencent fa circolare l'ipotesi di un nuovo metodo di speculative decoding capace di triplicare la velocità di decodifica per modelli da 27B. La notizia, non confermata, riporta l'attenzione su una tecnica che riduce...
Un nuovo strumento open source promette di mostrare con precisione quali processi consumano la VRAM. Per chi gestisce LLM in locale, questa visibilità cambia il modo di affrontare colli di bottiglia, dimensionare l'hardware e calcolare il costo reale...
Un benchmark su 35 quantizzazioni con llama.cpp, ExLlamaV3 e vLLM misura la divergenza KL introdotta dalla KV cache quantizzata. A 8 bit il calo di memoria è di circa 1,9-2 GiB a 64k token e l'effetto sulla distribuzione dei token è quasi nullo. Il 4...
Una pull request nel progetto llama.cpp introduce llama_moe_cache: una cache per gli esperti MoE eseguiti su CPU e uno script di tuning. L'obiettivo è accelerare l'offloading dei modelli MoE per chi ha poca VRAM, un'idea simile a meccanismi già visti...
Un framework multi-agente a modello singolo condivide una backbone e coordina thread su un DAG di stati KV residenti in GPU. Con fork radix zero-copy, montaggio KV solo su attenzione e trainer DAG-GRPO impacchettato, riduce la memoria KV di picco di ...
Una segnalazione aneddotica su un modello Q4 eseguito con llama.cpp su RTX 4090 riapre il problema della riproducibilità nei deployment self-hosted: senza hash e versioni bloccate, il controllo locale resta incompleto.
