Nuovi formati di quantization e tecniche di decodifica speculativa promettono meno memoria e generazione di token più rapida per i LLM locali. Tuttavia, l'integrazione con runtime e tool arriva spesso dopo il rilascio dei modelli.
Il rilascio dei quanti GGUF di DeepSeek-V4.1-Flash-1017 a cura di ISTA-DASLab non è solo una novità di quantization. Mette in luce il vero freno del deployment locale: l'integrazione con i runtime. Con llama.cpp ancora senza supporto ufficiale e il r...
La KLD è spesso trattata come una metrica universale per classificare i modelli quantizzati, ma misura solo la divergenza media tra le distribuzioni di probabilità del modello base e di quello quantizzato. Il numero è fragile: dipende dal dataset, è ...
ISTA DASLab ha pubblicato tre GGUF di DeepSeek-V4.1-Flash-1017 con quantization GSQ e RCO, bit-width da 1,75 a 2,25 sui 551,9 miliardi di parametri backbone. Il file Engram condiviso da 110,6 GB resta mappato su disco. Il modello gira su una singola ...
ISTA-DASLab ha pubblicato i quanti GGUF di DeepSeek-V4.1-Flash-1017 con l’approccio GSQ-RCO. Il modello, però, non gira su llama.cpp: i pull request per il supporto all’architettura sono ancora aperti. La scheda tecnica cita Strata, ma il runtime ori...
Un sistema di inference combina quantization, speculative decoding e offloading degli esperti per accelerare i modelli MoE su singola GPU. Il modello draft quantizzato resta on-device e anticipa con precisione gli esperti da caricare, riducendo il co...
KRAFTON AI pubblica Raon-1 mini preview, un LLM MoE da 30B con 4B attivi, orientato a conversazione coreana e task agentici. Con licenza Apache 2.0, speculative decoding e quantization NVFP4/MXFP8, l'inference può girare su una singola NVIDIA RTX 509...
Il nuovo metodo EAGLE-4 registra un'accelerazione di 3,59× rispetto alla decodifica vanilla nei benchmark pubblicati, superando DFlash2 (2,80×), DSpark (2,57×) e MTP (2,22×). Il supporto oggi è limitato a Qwen3.8-27B e manca l'integrazione in llama.c...
Migtissera distribuisce in formato GGUF un fine-tuning di Qwen che, secondo i benchmark interni, genera fino a un quarto di token in meno a parità di punteggio. Meno token significa risposte più rapide, sessioni più lunghe e costi di inference ridott...
ISTA-DASLab ha aggiornato il modello Qwen3.8-Flash-Next-GSQ-RCO-Coder in formato GGUF. I pesi mantenuti non cambiano rispetto alla base IQ3_S, ma circa il 25% della selezione degli esperti è diversa. Il modello resta English-only: con un budget di es...
Una proposta per llama.cpp introduce i tipi IQ2_K–IQ6_K: stesse dimensioni dei Q-quants, divergenza KL nettamente migliore, prestazioni leggermente inferiori e creazione più lenta. Per chi esegue LLM in locale, il trade-off si sposta: pari occupazion...
