Con i carichi agentici che moltiplicano i token, ricercatori e fornitori di infrastrutture si concentrano sulla pressione della cache KV, sul prefill sparso e sulla sparsità appresa dell'attenzione. L'obiettivo è rendere più economica l'inference a contesto lungo senza perdere qualità.
Un’architettura addestrabile end-to-end sostituisce le euristiche rigide con soglie contestuali dinamiche, riducendo il traffico della KV cache senza perdere qualità. Il modello da 1,45 miliardi di parametri ottiene un decoding fino a 2,5 volte più v...
Un metodo training-free riduce il costo del prefill nei LLM a contesto lungo affrontando la 'mean dilution', il rischio che un centroide nasconda token rilevanti. RBS-Attention combina un ramo basato sul centroide con un ramo rescue basato sul raggio...
halogen 0.12.0 risolve il degrado a contesto profondo: su Ryzen AI Max+ 395 con 128 GB, la decodifica di Qwen3.8-Flash-Next a un milione di token sale da 27,3 a 38,3 tok/s, il prefill scende da 21,2 a 17,9 minuti. Un dato utile per chi valuta LLM sel...
La mossa di Astera Labs sposta l'attenzione dal calcolo alla memoria. La cache KV, critica per i carichi agentici, diventa un vincolo fisico che incide su parallelismo, latenza e TCO. Per i deployment self-hosted e on-premise la gerarchia di memoria ...
Quando i sistemi agentici moltiplicano i token di contesto, la cache KV cresce fino a saturare la VRAM delle GPU. Astera Labs punta a questo limite strutturale, segnalando uno spostamento dell'attenzione dal calcolo alla memoria e alle interconnessio...
