La notizia arriva da The Information e rimbalzata da Reuters e Bloomberg Law: Google sta lavorando a un chip che non si limita ad accelerare un LLM, ma lo incarna. Il progetto, chiamato informalmente "Frozen v2", vedrebbe l'architettura di Gemini scolpita nel silicio, trasformando l'hardware in un gemello fisico del modello.

Non è il primo chip custom di Google: i TPU (Tensor Processing Unit) sono in circolazione da anni e servono proprio per l'inference su larga scala. Ma i TPU restano piattaforme generiche programmabili, su cui carichi volta per volta il modello che ti serve. Qui si parla di un ASIC dove i pesi della rete sono fissati in fase di fabbricazione, un colata di silicio che sa fare una cosa sola: eseguire Gemini così com'è, senza strati di software intermedi.

Perché farlo? La risposta sta nei numeri dell'inference massiva. Quando servi miliardi di richieste al giorno, ogni milliwatt e ogni nanosecondo contano. Un chip dedicato elimina il consumo per il caricamento del modello, riduce i trasferimenti tra memoria ed elaboratore, e permette di ottimizzare il layout dei circuiti esattamente per il grafo di computazione di Gemini. In pratica, si portano all'estremo i concetti di co-design hardware-software che già guidano la progettazione dei TPU.

Ma il prezzo è l'assenza totale di flessibilità. "Frozen" non è un vezzo: il modello è congelato nella sua versione attuale. Niente fine-tuning, niente aggiornamenti incrementali, niente switch a una variante più potente. Se Gemini riceve un miglioramento architetturale, il chip diventa obsoleto. Questo lo rende adatto solo a scenari in cui la versione del modello è stabile e si prevede una lunga vita operativa: per esempio, il backend del chatbot Bard (o come si chiamerà) o qualche servizio API a lunghissimo termine.

L'elemento più interessante per chi guarda al deployment on-premise è il segnale strutturale. Se Google ritiene conveniente realizzare un ASIC per un singolo modello, significa che i volumi di inference sono tali da giustificare un investimento enorme in design e produzione. E se il modello viene cotto nell'hardware, l'infrastruttura cloud di Google diventa ancora più efficiente, allargando il differenziale di costo con chi usa GPU general-purpose. Per le aziende che valutano il self-hosting di LLM, la domanda è: quando arriveranno – se arriveranno – chip analoghi per modelli aperti, da acquistare e mettere nei propri rack? Oggi è fantascienza, ma la direzione è quella di hardware sempre più specializzato che potrebbe rendere l'inference locale economicamente imbattibile.

C'è anche una lettura geopolitica e di sovranità dei dati. Un chip di questo tipo, prodotto e controllato da un singolo vendor cloud, rafforza la dipendenza da Google per chiunque usi Gemini via API. Al contrario, se il concetto venisse replicato per modelli open-source (si pensi a Llama o Mistral), potrebbe abilitare nodi di inference completamente autonomi, privi di dipendenze software, quasi elettrodomestici AI.

Resta il fatto che Google non ha commentato ufficialmente. Il nome "v2" suggerisce che esista già una prima iterazione, forse mai uscita dai laboratori. E la scelta di un nome così trasparente – "Frozen" – sembra un messaggio preciso: stiamo cristallizzando Gemini nell'hardware, ed è una scommessa calcolata sul fatto che la versione attuale sia già abbastanza matura da meritare il costo di un wafer dedicato.