Nuovi metodi come il riuso della cache KV a chunk, la conversione da modelli densi a MoE e la quantization sotto vincolo di entropia riducono il tempo di prefill e il calcolo attivo senza fine-tuning. Queste tecniche puntano a un serving LLM locale e on-premise più economico.
ToMoE converte checkpoint densi in MoE senza fine-tuning, riducendo i parametri attivi per token ma non il footprint in memoria. Un cambio di logica per l'on-premise: meno calcolo, stesso modello. Restano aperti i nodi runtime, latenza e VRAM. Il seg...
KVBoost riusa la cache key-value a livello di chunk e riduce il time-to-first-token di 4,49 volte su Qwen2.5-3B, senza perdita di accuratezza. A differenza del prefix caching, non richiede un prefisso iniziale condiviso: un doppio hash separa identit...
Un nuovo metodo converte LLM densi in architetture Mixture of Experts tramite pruning dinamico differenziabile, riducendo i parametri attivi per token senza eliminarli. Non richiede fine-tuning e supera le tecniche precedenti di pruning strutturale s...
Il nuovo metodo ECASQ unisce quantization e compressione lossless per minimizzare l'MSE rispettando un budget di entropia e il vincolo di unbiasedness. La soluzione ottimale usa programmazione dinamica con tempo O(sd^2) e spazio O(d^2). Una variante ...
