La notizia arriva con poche righe, quasi sottotraccia, ma punta dritto al cuore di una tensione che attraversa tutto il mondo dei Large Language Models: la possibilità di ottenere prestazioni da transformer senza pagare il prezzo – in termini di GPU, energia e dipendenze – che i transformer impongono. Pathway, azienda che si muove nel campo delle architetture neurali alternative, ha mostrato che la sua architettura BDH (un’evoluzione post-transformer sulla quale i dettagli tecnici sono ancora parziali) scala in modo praticamente identico a GPT-2, coprendo range da 10 milioni a 1 miliardo di parametri, e lo fa addestrandosi da zero su GPU ordinarie.

Non si tratta di un benchmark isolato: il matching con una famiglia di modelli così iconica – per quanto oggi superata dalle generazioni successive – funziona da prova di concetto. E il concetto è dirompente perché scardina l’assunto per cui l’attenzione moltiplicativa sia l’unica strada per ottenere scaling laws robuste. Negli ultimi due anni abbiamo visto emergere modelli a spazio di stato (Mamba, Hyena, RWKV) e varianti ricorrenti che promettevano efficienza lineare nella lunghezza di sequenza, ma spesso con compromessi sulla capacità di generalizzare su task linguistici complessi. BDH, stando ai dati condivisi, sembra aggirare il problema con un approccio che sul piano empirico riproduce la dinamica di crescita della perplexity dei transformer, senza ereditarne la complessità computazionale quadratica.

Per il deployment on-premise e self-hosted, il messaggio è chiaro: se architetture del genere raggiungessero la maturità, la corsa alle GPU di fascia enterprise – dalle A100 alle H100 – potrebbe non essere più l’unica via per fare training o inference con LLM competitivi. Il TCO di un cluster on-premise crollerebbe, e con esso le barriere all’ingresso per aziende, enti di ricerca e pubbliche amministrazioni che oggi devono scegliere tra cloud e investimenti hardware insostenibili. In ottica di sovranità dei dati, la possibilità di addestrare modelli comparabili a GPT-2 internamente, con hardware consumer o comunque non soggetto a restrizioni di esportazione, sposta il punto di equilibrio del potere negoziale verso chi possiede i dati e la volontà di mantenerli locali.

Certo, il salto da una dimostrazione a una tecnicia pronta per il mercato è grande, e Pathway non ha ancora rilasciato dettagli su contesto di token, costi energetici o fine-tuning su compiti specifici. Ma è proprio in queste prime fessure della supremazia transformer che si giocano le prossime partite dell’intelligenza artificiale. Non a caso NVIDIA sta diversificando il proprio stack oltre i semplici moltiplicatori di matrici, e i grandi fornitori cloud fiutano la necessità di supportare un ecosistema di modelli più eterogeneo.

Nella logica di AI-RADAR, dove si segue con interesse ogni segnale che riduca la dipendenza da componenti hardware sovradimensionate, l’annuncio di Pathway non è un semplice paper: è un avviso che il monolito transformer potrebbe non essere eterno, e che i presupposti economici e tecnici su cui abbiamo costruito l’attuale ondata di LLM potrebbero presto essere ridefiniti.