Nuove tecniche di quantization training-free, attenzione sparsa, modulazione della KV-cache e memoria esterna stanno riducendo i costi di inference e l'overhead nei contesti lunghi. Il lavoro si concentra anche su modelli compatti e lunghezze di ragionamento controllate per rendere il deployment locale più prevedibile.
Qwengram-0.8B congela Qwen3.5-0.8B e aggiunge una memoria n-gram da 51 miliardi di parametri fuori dal GGUF. La perplexity scende del 5,05%, ma il dato rilevante è l'architettura: iniezione tardiva governata da una gate per token, sidecar quantizzato...
Uno sviluppatore ha addestrato un modello compatto per sostituire Gemini Flash in un task booleano ad alta frequenza. Con 2.500 esempi e una RTX A6000 da 16 GB, il training è durato 15 minuti: il risultato pesa 50 MB, gira su CPU in 0,06 secondi e ra...
Un benchmark indipendente confronta Jev e Kev 4B su 362 elementi freschi: accuratezza simile, ma Jev aggiunge 257 token input fissi per richiesta, fino a 12 volte il costo su richieste brevi.
Un esperimento tiene congelato Qwen3.5-0.8B, aggiunge una memoria PLE da 51 miliardi di parametri e un reader R=1: la perplexity di validazione scende del 5,05%. L'autore avverte che non è un guadagno di accuratezza su benchmark e pubblica GGUF, runt...
Un confronto su llama.cpp con quantization Q8_0 mostra che i due fine-tuning riducono i token di completamento di circa il 40% rispetto a Qwen3.8-27B. I pass rate restano simili, ma Swift ha una riduzione più uniforme, mentre ThinkingCap paga una cod...
PRQuant combina riorganizzazione dei canali e compensazione residua statica per ridurre l'overhead di inference nella quantization low-bit. Il metodo è training-free, costruisce offline i blocchi contigui di coda ed evita la raccolta dinamica online,...
Un sistema chiamato phantom-kv inietta una piccola banca di tensori key/value nella cache KV di un modello. Il risultato è una modalità di capacità per richiesta: si carica, si usa, si scarica. I pesi restano identici. L'audit segnala però limiti sem...
Un’architettura addestrabile end-to-end sostituisce le euristiche rigide con soglie contestuali dinamiche, riducendo il traffico della KV cache senza perdere qualità. Il modello da 1,45 miliardi di parametri ottiene un decoding fino a 2,5 volte più v...
Un metodo training-free riduce il costo del prefill nei LLM a contesto lungo affrontando la 'mean dilution', il rischio che un centroide nasconda token rilevanti. RBS-Attention combina un ramo basato sul centroide con un ramo rescue basato sul raggio...
Un post su r/ROCm accende i riflettori sul problema dei motori di inference ottimizzati per FP4: veloci sui benchmark, ma spesso inaffidabili sui modelli piccoli e densi. La compressione può funzionare sui Large Language Models con molti parametri, m...
