Nuovi formati di quantization, decodifica speculativa e offloading MoE puntano a eseguire modelli di grandi dimensioni su singole GPU o CPU, ma il supporto dei runtime spesso resta indietro rispetto ai rilasci.
Il rilascio dei quanti GGUF di DeepSeek-V4.1-Flash-1017 a cura di ISTA-DASLab non è solo una novità di quantization. Mette in luce il vero freno del deployment locale: l'integrazione con i runtime. Con llama.cpp ancora senza supporto ufficiale e il r...
La KLD è spesso trattata come una metrica universale per classificare i modelli quantizzati, ma misura solo la divergenza media tra le distribuzioni di probabilità del modello base e di quello quantizzato. Il numero è fragile: dipende dal dataset, è ...
ISTA DASLab ha pubblicato tre GGUF di DeepSeek-V4.1-Flash-1017 con quantization GSQ e RCO, bit-width da 1,75 a 2,25 sui 551,9 miliardi di parametri backbone. Il file Engram condiviso da 110,6 GB resta mappato su disco. Il modello gira su una singola ...
Un esperimento con un LLM GGUF Q4 in WebGL2 si infrange sulla tokenizzazione, non sull'algebra lineare. Il consiglio di clonare llama.cpp segnala che nei deployment locali e self-hosted il differenziale non sta nel motore, ma nell'integrazione con da...
ISTA-DASLab ha pubblicato i quanti GGUF di DeepSeek-V4.1-Flash-1017 con l’approccio GSQ-RCO. Il modello, però, non gira su llama.cpp: i pull request per il supporto all’architettura sono ancora aperti. La scheda tecnica cita Strata, ma il runtime ori...
Uno sviluppatore su Reddit racconta il tentativo di costruire un motore di inference per LLM nel browser con WebGL2 e GLSL, usando un modello GGUF in quantization Q4. La tokenizzazione si rivela un inferno di debug. Il consiglio: clonare llama.cpp. A...
Kitten-TTS 2 introduce la quantization ternaria a 1,58 bit in un modello da 1,7 miliardi di parametri che gira in tempo reale su CPU. Il self-hosting diventa realistico senza GPU, spostando il TCO dalla VRAM alla qualità del software di esecuzione. P...
KittenML ha rilasciato codice e pesi di Kitten-TTS 2, un modello TTS con quantization ternaria a 1,58 bit e 1,7 miliardi di parametri. Gira in tempo reale su CPU, fa voice cloning zero-shot da meno di cinque secondi, supporta oltre 20 lingue e consen...
Un sistema di inference combina quantization, speculative decoding e offloading degli esperti per accelerare i modelli MoE su singola GPU. Il modello draft quantizzato resta on-device e anticipa con precisione gli esperti da caricare, riducendo il co...
KRAFTON AI pubblica Raon-1 mini preview, un LLM MoE da 30B con 4B attivi, orientato a conversazione coreana e task agentici. Con licenza Apache 2.0, speculative decoding e quantization NVFP4/MXFP8, l'inference può girare su una singola NVIDIA RTX 509...
Il nuovo metodo EAGLE-4 registra un'accelerazione di 3,59× rispetto alla decodifica vanilla nei benchmark pubblicati, superando DFlash2 (2,80×), DSpark (2,57×) e MTP (2,22×). Il supporto oggi è limitato a Qwen3.8-27B e manca l'integrazione in llama.c...
Un utente documenta il salto da 9 a 48 token/s passando a STRATA su CachyOS con driver NVIDIA pronti, usando Qwen 3.8 Flash Next a 3 bit. La GPU da 8 GB regge 32k di contesto e arriva a 42k, restando a 130 MB dal crash. Il caso mostra pregi e limiti ...
