Da anni si racconta che il vantaggio di Nvidia siano i chip più veloci, più rari e più cari. È una storia a metà. Il vero fossato che ha protetto l’azienda per vent’anni è un altro, tutto software: CUDA, il layer che trasforma il silicio in qualcosa su cui gli sviluppatori possono costruire AI. Oggi quel fossato è sotto pressione. E non per un nuovo chip, ma per la direzione stessa dell’intelligenza artificiale moderna.

CUDA (Compute Unified Device Architecture) è stato lanciato nel 2006 e ha dato agli sviluppatori un modo per programmare le GPU Nvidia senza ricorrere a primitive grafiche. Ha creato un ecosistema: migliaia di librerie ottimizzate, framework di deep learning costruiti sopra di esso (TensorFlow, PyTorch, JAX) e una massa critica di ingegneri abituati a lavorare solo su hardware Nvidia. Questo ha generato un effetto rete potentissimo: più modelli venivano addestrati su CUDA, più le librerie diventavano performanti solo su CUDA, più le aziende compravano GPU Nvidia. Un circolo vizioso per chiunque volesse competere.

Poi è arrivata l’AI generativa su larga scala. I transformer, gli LLM, le pipeline di inference. Qui è scattato qualcosa di nuovo. Da una parte, la standardizzazione delle operazioni di calcolo (attenzione, feed-forward, normalizzazione) ha reso i pattern computazionali più prevedibili. Dall’altra, la necessità di ottimizzare l’inference per latenza e throughput ha spinto la comunità a scrivere kernel sempre più astratti, usando linguaggi intermedi come Triton di OpenAI o sfruttando compilatori just-in-time (torch.compile, XLA). Questi strumenti non sono vincolati a CUDA: possono generare codice ottimizzato per diverse piattaforme hardware, inclusi acceleratori AMD (ROCm), Intel (oneAPI) o addirittura Apple Silicon.

Il risultato è che il valore di CUDA come strato di accesso obbligatorio sta iniziando a erodersi. Se un server di inference come vLLM riesce a spremere le stesse prestazioni su una GPU Nvidia usando kernel Triton invece di kernel CUDA scritti a mano, per l’utente finale il vantaggio di essere dentro l’ecosistema CUDA puro si riduce. E se domani quello stesso server gira senza modifiche su un acceleratore AMD, il lock-in svanisce del tutto.

Chi ci guadagna? Innanzitutto le grandi organizzazioni e le aziende che valutano deployment on-premise di LLM. Poter scegliere hardware non-Nvidia significa spezzare la dipendenza da un fornitore unico, ridurre il TCO (TCO) e negoziare condizioni migliori. Le soluzioni alternative, da AMD Instinct ai prossimi chip Intel Gaudi, fino ai progetti di hyperscaler come AWS Trainium, diventano opzioni concrete quando il software non è più un collo di bottiglia. In secondo luogo, i cloud provider che spingono i propri siliconi possono offrire servizi di inference più economici, aggredendo il margine di Nvidia. Per gli sviluppatori, infine, la portabilità dei framework apre la strada a ambienti di test ibridi: sviluppo su GPU consumer, deployment on-premise su acceleratori diversi, senza riscrivere una riga.

Chi ci perde è Nvidia, naturalmente, ma non subito. Il parco installato di GPU Nvidia è immenso e CUDA resterà il riferimento per addestramento su larga scala ancora per anni. Tuttavia, il potere di fissare prezzi quasi monopolistici potrebbe indebolirsi se le alternative software raggiungono la maturità. La vera posta in gioco non è il singolo benchmark, ma il controllo dell’infrastruttura software che decide su quale silicio gira l’AI.

Il segnale strutturale è forte: l’accoppiamento hardware-software che ha definito l’era delle GPU sta cedendo il passo a un’astrazione più alta, dove i modelli e i framework diventano il nuovo piano di controllo. Questo è coerente con il trend della commoditizzazione dell’hardware nell’informatica: prima i server x86, poi gli smartphone, ora le unità di elaborazione AI. L’AI sta riscrivendo il fossato di Nvidia, non distruggendolo con un chip migliore, ma rendendo il fossato stesso meno necessario.

Per chi valuta deployment on-premise, il framework è complesso. Affidarsi a un unico fornitore, per quanto comodo, comporta rischi di dipendenza e di costo. L’emergere di framework astratti e back-end cross-platform offre un’opportunità per diversificare l’hardware, ma richiede competenze di integrazione e un’analisi attenta del TCO reale. AI-RADAR fornisce strumenti e articoli per orientarsi in questi trade-off, senza offrire ricette preconfezionate, ma aiutando a leggere la direzione del settore. La strada è aperta: la domanda non è più se uscire dall’ecosistema CUDA, ma quando e a quali condizioni conviene farlo.