Dal supporto alla cache KV in FP8 in llama.cpp al caching degli esperti MoE e alla quantization aggressiva, l'inference locale sta riducendo i requisiti di VRAM. Queste tecniche estendono la lunghezza del contesto e mantengono utilizzabili modelli più grandi su hardware consumer.
llama.cpp ha introdotto il supporto per la cache KV in FP8, riducendo l'occupazione di VRAM durante l'inference di LLM locali. Per chi valuta deployment self-hosted, il vantaggio immediato è gestire contesti più ampi su hardware esistente, ma il camb...
Una startup europea chiede informazioni sui prossimi modelli Gemma e descrive un deployment reale: Gemma 4 31B con quantization NVFP4 su tre RTX Pro 6000, usato per ragionamento linguistico in tedesco e inglese. Il punto non è il coding ma la qualità...
Un benchmark su 35 quantizzazioni con llama.cpp, ExLlamaV3 e vLLM misura la divergenza KL introdotta dalla KV cache quantizzata. A 8 bit il calo di memoria è di circa 1,9-2 GiB a 64k token e l'effetto sulla distribuzione dei token è quasi nullo. Il 4...
Una pull request nel progetto llama.cpp introduce llama_moe_cache: una cache per gli esperti MoE eseguiti su CPU e uno script di tuning. L'obiettivo è accelerare l'offloading dei modelli MoE per chi ha poca VRAM, un'idea simile a meccanismi già visti...
