L'attention mechanism ha dominato il deep learning negli ultimi anni, ma la sua complessità quadratica la rende vorace di risorse su dati lunghi e multidimensionali. Le alternative subquadratiche finora proposte, come le convoluzioni standard o i modelli ricorrenti, costringevano a compromessi: le prime perdono il campo recettivo globale e la dipendenza dall'input, i secondi richiedono di appiattire immagini, volumi o simulazioni fisiche in un ordine unidimensionale che ne viola la struttura spaziale.

Il nuovo operatore HyenaND, presentato dai ricercatori, ribalta la prospettiva: invece di adattare i dati all'algoritmo, progetta convoluzioni lunghe multidimensionali e input-dipendenti che rispettano la geometria nativa del problema. Il cuore matematico è una parametrizzazione implicita di kernel globali, che consente di catturare relazioni a lungo raggio senza la complessità quadratica dell'attention. Il costo computazionale scala come O(L log L), dove L è la dimensione del dato, rendendolo ideale per sequenze molto lunghe e dati ad alta dimensionalità.

Ma la vera novità non sta solo nell'algoritmo. Il team ha sviluppato un'implementazione CUDA, chiamata nSubQ, che fonde il percorso della convoluzione via FFT per tradurre quel O(L log L) in accelerazioni reali. In pratica, non è solo un bel teorema: c'è un kernel ottimizzato che permette di usare HyenaND in pipeline di inference e training su GPU con guadagni in termini di tempo di esecuzione.

I test coprono ambiti dove l'attenzione pesa di più: genomica a lungo conteso, computer vision, imaging medico e modellazione di equazioni differenziali alle derivate parziali (PDE). In questi domini, stack puri di HyenaND raggiungono l'accuratezza dei migliori modelli basati su attention. Ancora più interessante è la configurazione ibrida: strati che alternano HyenaND e attention superano sia i puri transformer che gli ibridi con modelli ricorrenti.

Per chi ragiona in termini di deployment on-premise o su hardware aziendale controllato, il messaggio è chiaro. L'efficienza subquadratica riduce il costo computazionale per unità di dato, il che si traduce in requisiti hardware inferiori per carichi di lavoro che oggi obbligano a ricorrere a GPU di fascia alta o al cloud. Non si tratta solo di risparmio energetico, ma di rendere praticabile l'elaborazione di volumi 3D, sequenze genomiche o simulazioni fisiche su infrastrutture locali, dove la sovranità dei dati e il controllo del TCO sono prioritari. Se HyenaND venisse integrato nei framework di deep learning più diffusi, le aziende potrebbero ripensare la propria architettura di calcolo, spostando carichi dal cloud al ferro on-premise senza sacrificare le performance.

Certo, il lavoro è ancora a livello di ricerca e la maturità dell'implementazione CUDA dovrà essere verificata su scala industriale. Ma il segnale è strutturale: la corsa non è solo a modelli più grandi, ma a operatori più efficienti che permettano di processare dati complessi direttamente nella loro forma nativa. HyenaND dimostra che si può fare, e lo fa con un'implementazione che punta dritto all'utilizzo pratico.