La dichiarazione del CEO

In un’intervista recente, Jonathan Ross, CEO di Groq, ha affermato che le GPU e le LPU (Language Processing Unit) non vanno viste come alternative in competizione, ma come soluzioni complementari in un ecosistema hardware sempre più eterogeneo. La crescita della domanda di calcolo per l’intelligenza artificiale — tra training, fine-tuning e inference — impone alle aziende di ripensare l’infrastruttura, mescolando diversi tipi di acceleratori per ottimizzare prestazioni, costi e controllo dei dati.

Cosa sono le LPU e perché sono diverse

Groq ha progettato la LPU come architettura completamente diversa da una GPU. Mentre le GPU sono processori massivamente paralleli con una gerarchia di memoria complessa (cache L1/L2, VRAM, bandwidth) e un modello di esecuzione che sfrutta migliaia di core per eseguire moltiplicazioni di matrici, la LPU utilizza un dataflow deterministico: i dati scorrono attraverso un array di unità di calcolo senza attese di memoria. Questo permette di ottenere latenze bassissime e throughput costante nell’inference di modelli linguistici di grandi dimensioni. In pratica, una LPU garantisce che ogni token sia processato entro un intervallo di tempo prevedibile — un vantaggio cruciale per applicazioni interattive come chatbot, assistenti vocali o OCR in tempo reale.

GPU e LPU: competizione o integrazione?

Il parallelismo massiccio delle GPU le rende ideali per il training, dove è necessario calcolare gradienti su interi dataset e aggiornare miliardi di parametri in parallelo. Le LPU, invece, puntano sull’inference prevedibile, con un design che riduce i colli di bottiglia legati alla latenza e al bandwidth della memoria. Nei deployment on-premise, questo dualismo può tradursi in uno stack hardware in cui le GPU gestiscono le fasi di addestramento, fine-tuning e preparazione dei modelli, mentre le LPU si occupano di servire richieste di inference con tempi di risposta stretti, massimizzando l’utilizzo delle risorse e riducendo la necessità di overprovisioning. Non si tratta di sostituire una tecnicia con l’altra, ma di adottare entrambe per affrontare workload differenti con il giusto strumento.

Decidere l’hardware per l’AI in locale: i trade-off

Per le organizzazioni che portano l’AI on-premise — spinte da sovranità dei dati, conformità normativa o semplice prevedibilità dei costi — la scelta degli acceleratori non è mai banale. Le GPU, in particolare i modelli di fascia alta come le NVIDIA H100, offrono flessibilità e un ecosistema software robusto, ma hanno consumi energetici elevati e costi di acquisizione significativi. Le LPU, se integrate correttamente, possono abbattere la latenza di inference e, in scenari con carichi sostenuti, ridurre il TCO perché servono più richieste con minor provisioning hardware. Tuttavia, il loro ecosistema è meno maturo e i framework di sviluppo sono ancora in evoluzione. La complementarità suggerita dal CEO di Groq diventa quindi una strategia di diversificazione: valutare le reali esigenze (quanto pesa l’inference? quanto è critica la latenza? i dati devono restare in locale?) e disegnare un’architettura che mescoli GPU e LPU in modo bilanciato.

Una direzione per il futuro dell’infrastruttura

Nel framework più ampio, l’osservazione di Ross segnala un mercato hardware sempre più frammentato, dove nessun singolo tipo di silicio dominerà tutte le fasi del ciclo di vita dei modelli. Oltre alle GPU e alle LPU, emergono soluzioni come le NPU in ambito edge e i chip custom delle grandi aziende cloud. Per chi lavora in regime di self-hosted, questo significa che il “compute fabric” del futuro sarà composto da nodi eterogenei, orchestrati da software intelligente in grado di distribuire automaticamente i carichi in base ai requisiti di latenza, throughput e costo. La scelta oggi non è tra GPU e LPU, ma come farle coesistere in un’infrastruttura che mantenga il controllo dei dati, garantisca prestazioni e non faccia esplodere la bolletta energetica.