Il problema non è nuovo: l'attenzione densa dei Transformer diventa rapidamente un collo di bottiglia quando la sequenza si allunga, perché il costo computazionale cresce in modo quadratico rispetto al numero di token. Per chi lavora con LLM, quel costo si traduce in più memoria, più tempo di training e hardware più costoso. BCMT, acronimo di Blockwise Causal Memory Transformer, prova a rispondere separando due funzioni che di solito viaggiano insieme: l'interazione locale tra token e la propagazione del contesto su lunga distanza.

Nell'impianto proposto, la self-attention causale densa non viene calcolata su tutta la sequenza, ma in modo indipendente all'interno di blocchi locali. Ogni blocco genera una sintesi adattiva, che confluisce in una memoria causale esponenziale. Quella memoria viene poi re-iniettata nelle rappresentazioni dei token. In questo modo l'informazione a lungo raggio si propaga attraverso una memoria condivisa e non attraverso interazioni dirette tra token distanti.

Il confronto con le alternative è utile a capire la posizione di BCMT. Rispetto ai Transformer standard, non mantiene interazioni dense tra token lontani. Rispetto alle architetture ricorrenti con memoria, non introduce stati di memoria appresi. Il meccanismo è interamente parallelizzabile e resta compatibile con le implementazioni standard di self-attention densa. In pratica, non richiede kernel specializzati o riscritture profonde delle librerie.

Sul fronte sperimentale, i test di language modeling con contesti fino a 1024 token indicano prestazioni di validazione comparabili a quelle dei Dense Transformer, con un miglioramento significativo del throughput di training e una riduzione del consumo di memoria. Lo studio di ablazione attribuisce questi guadagni proprio al meccanismo di memoria.

La tesi che emerge è netta: una memoria causale esponenziale costruita da sintesi di blocco può essere un'alternativa efficace all'attenzione globale densa. Per chi valuta deployment on-premise o self-hosted, il segnale è più concreto di quanto sembri. La VRAM è spesso il vincolo che decide se un modello può essere servito in locale, se un fine-tuning è fattibile su una singola macchina o se serve passare a un'infrastruttura più costosa. Un'architettura che riduce il consumo di memoria senza sacrificare la qualità sposta quel vincolo. Non elimina il problema dell'attenzione, ma ne riduce l'impronta, e questo cambia i calcoli di TCO per chi preferisce mantenere i dati e i modelli sotto il proprio controllo.

Va però letta con cautela una parte del framework: 1024 token è una finestra utile per validare il meccanismo, ma è relativamente contenuta rispetto ai contesti estesi su cui si gioca oggi la competizione tra LLM. La quadraticità dell'attenzione densa diventa davvero critica su sequenze molto più lunghe. Il lavoro dimostra che l'architettura regge su quella scala, non ancora come si comporta quando il contesto cresce di uno o due ordini di grandezza.

Il punto strutturale, comunque, va oltre il singolo modello. BCMT appartiene a una famiglia di approcci che cercano di rendere l'attenzione più gestibile senza rinunciare alla compatibilità con le implementazioni esistenti. Per i team che gestiscono risorse locali, questo è un incentivo a osservare con interesse le architetture ibride: meno pressione sulla memoria, maggiore prevedibilità nell'allocazione e integrazione più semplice negli stack di serving. Per chi valuta deployment on-premise, AI-RADAR offre strumenti analitici su /llm-onpremise per confrontare i trade-off tra architetture, memoria e costi.