Nuovi metodi training-free o low-bit come PRQuant, Phantom-kv, RBS-Attention ed Elastic Threshold Attention riducono memoria, token e overhead di prefill. I modelli ternari e low-bit riducono l'ingombro, ma l'FP4 sui modelli piccoli e densi resta rischioso.
PRQuant combina riorganizzazione dei canali e compensazione residua statica per ridurre l'overhead di inference nella quantization low-bit. Il metodo è training-free, costruisce offline i blocchi contigui di coda ed evita la raccolta dinamica online,...
Un sistema chiamato phantom-kv inietta una piccola banca di tensori key/value nella cache KV di un modello. Il risultato è una modalità di capacità per richiesta: si carica, si usa, si scarica. I pesi restano identici. L'audit segnala però limiti sem...
Un’architettura addestrabile end-to-end sostituisce le euristiche rigide con soglie contestuali dinamiche, riducendo il traffico della KV cache senza perdere qualità. Il modello da 1,45 miliardi di parametri ottiene un decoding fino a 2,5 volte più v...
Un metodo training-free riduce il costo del prefill nei LLM a contesto lungo affrontando la 'mean dilution', il rischio che un centroide nasconda token rilevanti. RBS-Attention combina un ramo basato sul centroide con un ramo rescue basato sul raggio...
Un post su r/ROCm accende i riflettori sul problema dei motori di inference ottimizzati per FP4: veloci sui benchmark, ma spesso inaffidabili sui modelli piccoli e densi. La compressione può funzionare sui Large Language Models con molti parametri, m...
La domanda di UkisAI su Bonsai 2 Swift non riguarda un semplice aggiornamento. Mette in luce come il TCO degli LLM locali dipenda sempre più dal comportamento a runtime: token sprecati, loop di overthinking e scelte di quantization ridefiniscono l'ef...
Dopo che i download di Swift Qwen3.8 27B sono passati da 100mila a 150mila in una notte, UkisAI chiede se applicare la stessa cura a Bonsai 2, che nei test mostra loop di overthinking e alto consumo di token. Il team chiede alla community se puntare ...
Un metodo di compressione per LLM propone un curriculum learning a strati che parte da compiti semplici e arriva a quelli complessi, stabilizzando il trasferimento di conoscenza. Riduce oltre il 50% uso di memoria GPU e ore di training su BERT e GPT-...
Ternary Bonsai 2 è disponibile su Hugging Face: deriva da Qwen3.8-27B, conserva l'architettura hybrid-attention e usa pesi ternari per scendere sotto i 6 GB. Secondo la model card, è 9 volte più piccolo dell'FP16 e mantiene il 98,2% dell'intelligenza...
Il modello open source di UkisAI supera i 100mila download ed è primo tra i fine-tuning su Hugging Face. Penalizza i pattern di overthinking nei piccoli LLM: consumo di token -58,3%, velocità x1,95, senza perdere accuratezza. In arrivo Swift1.5 e Swi...
ToMoE converte checkpoint densi in MoE senza fine-tuning, riducendo i parametri attivi per token ma non il footprint in memoria. Un cambio di logica per l'on-premise: meno calcolo, stesso modello. Restano aperti i nodi runtime, latenza e VRAM. Il seg...
KVBoost riusa la cache key-value a livello di chunk e riduce il time-to-first-token di 4,49 volte su Qwen2.5-3B, senza perdita di accuratezza. A differenza del prefix caching, non richiede un prefisso iniziale condiviso: un doppio hash separa identit...
Un nuovo metodo converte LLM densi in architetture Mixture of Experts tramite pruning dinamico differenziabile, riducendo i parametri attivi per token senza eliminarli. Non richiede fine-tuning e supera le tecniche precedenti di pruning strutturale s...
llama.cpp abilita MTP per GLM-4.5-Air, un MoE da 106 miliardi di parametri con soli 12 miliardi attivi. La novità accelera l'inference su macchine con molta memoria ma calcolo limitato, come Strix Halo, DGX Spark e RTX 3090, e rafforza l'ecosistema d...
Uno sviluppatore ha ridotto Qwen3.8-27B a 22,7 miliardi di parametri con pruning di profondità, senza fine-tuning. Distribuito solo in MLX per Apple Silicon, mostra trade-off: meno pressione su memoria e calcolo, ma perdite nei casi limite. Per l'on-...
Il nuovo metodo ECASQ unisce quantization e compressione lossless per minimizzare l'MSE rispettando un budget di entropia e il vincolo di unbiasedness. La soluzione ottimale usa programmazione dinamica con tempo O(sd^2) e spazio O(d^2). Una variante ...
Uno sviluppatore ha applicato un pruning di profondità a Qwen3.8-27B, portandolo a circa 22,7 miliardi di parametri senza fine-tuning. Il modello, disponibile in versioni bf16, q8 e q4 su MLX, gestisce coding, uso agentico e conversazioni multi-turno...
