L’ossessione silenziosa di chi fa ricerca sui Large Language Models è la memoria. Non tanto quella dei parametri, che con la quantization si comprime, ma quella che cresce a ogni token durante l’inference: la cache chiave-valore (KV cache). Nell’attenzione classica, la matrice dei prodotti scalari esplode quadraticamente con la lunghezza della sequenza, divorando VRAM e rendendo ingestibili contesti superiori a poche decine di migliaia di token su hardware consumer.

Negli ultimi anni, le varianti di attenzione lineare hanno provato a spezzare questa maledizione sostituendo la cache crescente con uno stato ricorrente fisso, una sorta di memoria compressa che non si espande. Il prezzo da pagare è quasi sempre una perdita di fedeltà: lo stato fisso non riesce a tracciare corrispondenze precise su distanze lunghe, e il modello dimentica dettagli importanti.

In questo solco si inserisce un nuovo lavoro teorico che prova a risolvere il problema con un’idea presa dal mondo dei segnali: il controllo di fase. La Semidirect Fourier Delta Attention (SFDA) è una generalizzazione della Delta Attention di Kimi, ma invece di applicare un decadimento diagonale reale allo stato, usa una matrice di rotazione a blocchi con coefficienti complessi, governata da una fase θ. In pratica, invece di far “spegnere” la memoria con un fattore di decadimento, la fa ruotare, conservando energia ma modulando la direzione informativa.

Il contributo chiave è una fattorizzazione chunk-WY costruttiva per i prodotti di matrici che governano l’aggiornamento dello stato. Invece di dover ricalcolare l’intera sequenza quando si processa un nuovo chunk, è possibile trasferire lo stato in modo esatto con una rappresentazione a basso rango, delimitata all’interno di blocchi fissi. Questo rende il meccanismo computazionalmente abbordabile e matematicamente stabile.

Al momento, la validazione è numerica e su esperimenti giocattolo di tracciamento di stato: SFDA impara pattern ciclici laddove la versione senza fase rimane al livello del caso. L’articolo è sincero: kernel ottimizzati e test su modelli linguistici su larga scala sono rimandati a lavori futuri.

Per chi legge AI-RADAR e valuta deployment on-premise, questo tipo di ricerca è una bussola. La promessa di un’attenzione lineare che mantenga la memoria di contesto senza far esplodere la VRAM è il Sacro Graal dell’inference locale. Oggi, modelli con finestre da 128k token su una singola GPU richiedono accorgimenti estremi di quantization o architetture ibride; spesso si finisce per affittare istanze cloud, con i noti problemi di sovranità dei dati e TCO.

Un’attenzione che usa rotazioni di fase invece del semplice decadimento potrebbe, in linea di principio, offrire una compressione più intelligente dello stato, senza sacrificare la capacità di recuperare informazioni a lunga distanza. Se la fattorizzazione chunk-WY venisse implementata in kernel CUDA efficienti, l’aggiornamento incrementale dello stato potrebbe ridurre la pressione sulla memoria in modo significativo, allargando la finestra di contesto gestibile su hardware di fascia media.

Certo, il salto dal “toy” alla produzione è enorme, e molti meccanismi lineari promettenti si sono arenati quando messi alla prova con miliardi di parametri. Ma il segnale strutturale è chiaro: la ricerca sta spostando l’ago della bilancia dal puro scaling del modello all’efficienza dell’attenzione in regimi di memoria limitata. Ed è proprio lì che si gioca la partita del self-hosting per le imprese che non vogliono — o non possono — cedere i propri dati.

In definitiva, SFDA non è ancora un pezzo da montare nel proprio stack. Ma è un promemoria che la direzione di marcia non è più solo hardware: l’algebra lineare ha ancora cartucce da sparare per rendere i modelli linguistici più amichevoli con le GPU che abbiamo già in casa.