A Tel Aviv c’è chi sostiene che l’intero dibattito sull’hardware per AI sia ostaggio di un’ossessione: la potenza di calcolo. Majestic Labs, fondata nel 2023 da ingegneri provenienti da Google e Meta, ha tolto il velo a un server che, a suo dire, può fare il lavoro di un intero rack di GPU Nvidia. E lo fa attaccando il problema dalla parte della memoria, non dei FLOPS.

La notizia, seppur ancora avara di dettagli tecnici, tocca un nervo scoperto di chi mette in produzione i Large Language Model. Da anni, l’inference degli LLM è un esercizio di gestione della memoria molto più che di calcolo bruto. I parametri di un modello occupano decine o centinaia di gigabyte di VRAM: per generare anche un solo token, la GPU deve spostare dal buffer tutti quei dati attraverso un bus che, per quanto veloce, resta il vero imbuto. Non è raro osservare unità di calcolo costosissime girare al 30 o 40 percento di utilizzo, in attesa che i pesi arrivino per essere processati.

Majestic Labs sembra aver costruito il proprio server attorno a un’architettura che mette la banda di memoria al centro, riducendo la distanza fisica e logica tra storage e unità di elaborazione. L’approccio ricorda ricerche come il processing-in-memory o i wafer-scale engine, ma calato in un prodotto che punta direttamente al mercato dei datacenter e ai deployment self-hosted.

In un ecosistema dominato dalla scarsità e dai prezzi delle GPU, un’architettura memory-first potrebbe spostare gli equilibri. Per le aziende che valutano l’adozione on-premise, il Total Cost of Ownership non si gioca solo su CapEx hardware: l’energia, lo spazio nei rack e la complessità di raffreddamento sono moltiplicatori di costo che un server con minore dipendenza dalla VRAM potrebbe tagliare in modo sostanziale. Se la promessa è vera, si aprirebbe uno scenario in cui fare inference di LLM di grandi dimensioni in totale sovranità — con i dati che non lasciano mai il perimetro aziendale — non richiede più una fattoria di acceleratori, ma qualche unità di un nuovo tipo di macchina.

Naturalmente la storia dell’hardware è piena di annunci rivoluzionari seguiti da silenzi. Senza numeri di latenza, throughput o precisione, la proposta di Majestic Labs va presa come un segnale direzionale più che come un fatto compiuto. Segnale che però si inserisce in un movimento strutturale: la consapevolezza che l’attuale paradigma GPU-centrico non è l’unico modo di servire AI. Startup come Cerebras e Groq hanno già cominciato a esplorare strade alternative, e ora anche un team con pedigree di Big Tech mette la memoria — non la moltiplicazione di matrici — al centro del progetto.

Per chi segue da vicino le scelte di deployment on-premise, la direzione è chiara: il futuro dell’inference potrebbe non essere una corsa al maggior numero di teraflops, ma alla minor latenza di accesso ai dati. E questo cambierebbe non solo i listini dei fornitori, ma la stessa geometria dei centri di calcolo aziendali.