Il collo di bottiglia più costoso del decoding long-context non è il calcolo, ma la memoria. Le cache KV crescono con la lunghezza della sequenza e, su GPU, il throughput è spesso limitato dalla larghezza di banda, non dai core. I metodi sparsi cercano di aggirare il problema caricando selettivamente i blocchi, ma le euristiche rigide finiscono per scartare contesto necessario.

Elastic Threshold Attention (ETA) cambia approccio: invece di decidere con regole fisse, predice soglie dinamiche e contestuali direttamente dalle query. Il modello può quindi allocare attenzione quasi densa nei passaggi difficili di retrieval o ragionamento e potare i token di routine. La parte meno intuitiva è come viene addestrata questa policy. Durante il training, ETA sopprime moltiplicativamente i logit sotto soglia verso zero, ma non li elimina. Questo crea un pavimento uniforme che funziona da riserva distribuita di probabilità: un effetto collaterale è la scomparsa dei sink di attenzione localizzati sui token iniziali, un problema noto quando si impara la sparsità da zero senza collasso delle rappresentazioni.

I numeri del paper danno concretezza al design. Un modello pretrained da 1,45 miliardi di parametri raggiunge prestazioni paragonabili all’attenzione densa in language modeling, ragionamento commonsense e needle retrieval su contesti lunghi, con circa l’85% di sparsità in training e circa il 38% di densità attiva in decoding. In inference, un kernel Triton personalizzato seleziona i blocchi KV in tempo O(1) usando limiti geometrico-probabilistici memorizzati in cache. Il risultato è un wall-clock speedup fino a 2,5 volte rispetto a FlashAttention-2 su sequenze fino a 512K token.

Qui c’è un segnale strutturale: la sparsità smette di essere un vincolo imposto dall’esterno e diventa una politica appresa, sensibile al contenuto. Non è solo un miglioramento incrementale. Se un modello può mantenere la qualità dell’attenzione densa con meno del 40% dei token attivi in decoding, l’economia dell’inference long-context cambia: meno traffico sulla memoria significa sequenze più lunghe o batch più grandi sulla stessa VRAM, un punto chiave per chi gestisce deployment self-hosted e deve ragionare in termini di TCO, non solo di accuracy.

Un secondo sviluppo conta per i deployment specializzati. Il paper introduce una calibrazione offline che congela soglie costanti per testa, eliminando l’overhead del predittore. Questo taglia il calcolo dell’attenzione di un ulteriore 27%. Tradotto: dopo una fase di adattamento al dominio, il modello può girare con kernel più semplici e prevedibili, senza dover eseguire il predittore a ogni passo. Per chi valuta on-premise, il trade-off tra costo di calibrazione e riduzione del consumo di banda è esattamente il tipo di variabile che decide la fattibilità di un servizio long-context su hardware di proprietà. Per chi valuta deployment on-premise, AI-RADAR dedica framework analitici su /llm-onpremise a questi confronti.

I metodi basati su pruning statico o euristiche fisse perdono quota, perché non possono adattarsi alla difficoltà del singolo passaggio. ETA mostra che la sparsità può essere addestrata senza sacrificare la qualità, spostando la complessità dal runtime alla fase di training e calibrazione. Il dato più interessante non è il 2,5x in sé, ma il fatto che la decisione di potare diventa parte del modello, non una scorciatoia esterna. Per chi segue l’evoluzione dell’inference locale, il messaggio è chiaro: la prossima generazione di attenzione sparse sarà probabilmente appresa, non progettata a mano.