Nuovi metodi di quantization, attenzione sparsa, cache KV e formati di prompt puntano a ridurre latenza, memoria e spreco di token, soprattutto per contesti lunghi e modelli piccoli e densi.
Un confronto su llama.cpp con quantization Q8_0 mostra che i due fine-tuning riducono i token di completamento di circa il 40% rispetto a Qwen3.8-27B. I pass rate restano simili, ma Swift ha una riduzione più uniforme, mentre ThinkingCap paga una cod...
PRQuant combina riorganizzazione dei canali e compensazione residua statica per ridurre l'overhead di inference nella quantization low-bit. Il metodo è training-free, costruisce offline i blocchi contigui di coda ed evita la raccolta dinamica online,...
Un sistema chiamato phantom-kv inietta una piccola banca di tensori key/value nella cache KV di un modello. Il risultato è una modalità di capacità per richiesta: si carica, si usa, si scarica. I pesi restano identici. L'audit segnala però limiti sem...
Un’architettura addestrabile end-to-end sostituisce le euristiche rigide con soglie contestuali dinamiche, riducendo il traffico della KV cache senza perdere qualità. Il modello da 1,45 miliardi di parametri ottiene un decoding fino a 2,5 volte più v...
Un metodo training-free riduce il costo del prefill nei LLM a contesto lungo affrontando la 'mean dilution', il rischio che un centroide nasconda token rilevanti. RBS-Attention combina un ramo basato sul centroide con un ramo rescue basato sul raggio...
Un post su r/ROCm accende i riflettori sul problema dei motori di inference ottimizzati per FP4: veloci sui benchmark, ma spesso inaffidabili sui modelli piccoli e densi. La compressione può funzionare sui Large Language Models con molti parametri, m...
La domanda di UkisAI su Bonsai 2 Swift non riguarda un semplice aggiornamento. Mette in luce come il TCO degli LLM locali dipenda sempre più dal comportamento a runtime: token sprecati, loop di overthinking e scelte di quantization ridefiniscono l'ef...
Dopo che i download di Swift Qwen3.8 27B sono passati da 100mila a 150mila in una notte, UkisAI chiede se applicare la stessa cura a Bonsai 2, che nei test mostra loop di overthinking e alto consumo di token. Il team chiede alla community se puntare ...
