DeepSeek-V4.1 a 1,75 bit e il contesto da un milione di token di Qwen4 mostrano le potenzialità della quantization spinta e i persistenti colli di bottiglia di VRAM/runtime nell'inference self-hosted. L'attenzione si sposta su supporto runtime e memoria piuttosto che sulla sola dimensione del modello.
La pull request in qwen-code segnala che Qwen4 punta a una finestra da un milione di token. Per chi fa inference self-hosted il costo non è teorico: la cache chiave-valore cresce con i token e satura la VRAM insieme ai pesi. Qwen4-27B rende probabili...
Alibaba porta Qwen4 a un milione di token di contesto. La notizia emerge da una pull request in qwen-code: Qwen4-27B atteso domani all'evento Apsara nei Paesi Bassi, Qwen4-max datato 1° novembre con possibile placeholder al 1° ottobre. L'analisi si c...
Il rilascio dei quanti GGUF di DeepSeek-V4.1-Flash-1017 a cura di ISTA-DASLab non è solo una novità di quantization. Mette in luce il vero freno del deployment locale: l'integrazione con i runtime. Con llama.cpp ancora senza supporto ufficiale e il r...
La KLD è spesso trattata come una metrica universale per classificare i modelli quantizzati, ma misura solo la divergenza media tra le distribuzioni di probabilità del modello base e di quello quantizzato. Il numero è fragile: dipende dal dataset, è ...
ISTA DASLab ha pubblicato tre GGUF di DeepSeek-V4.1-Flash-1017 con quantization GSQ e RCO, bit-width da 1,75 a 2,25 sui 551,9 miliardi di parametri backbone. Il file Engram condiviso da 110,6 GB resta mappato su disco. Il modello gira su una singola ...
ISTA-DASLab ha pubblicato i quanti GGUF di DeepSeek-V4.1-Flash-1017 con l’approccio GSQ-RCO. Il modello, però, non gira su llama.cpp: i pull request per il supporto all’architettura sono ancora aperti. La scheda tecnica cita Strata, ma il runtime ori...
