C'è un dettaglio che rende questa notizia diversa dal solito annuncio di un modello: la ricerca per immagini non passa da un server. EmbeddingGemma 2, uscito questa settimana, è stato portato su ruNNtime, una libreria TypeScript per l'inference su WebGPU. La demo è una piccola galleria fotografica in cui la ricerca avviene interamente sulla GPU del browser.

Il modello proietta immagini e testo in uno spazio vettoriale a 768 dimensioni. Descrivere una foto in linguaggio naturale produce un vettore confrontabile con quelli delle immagini archiviate: la ricerca diventa un problema di similarità, non di parole chiave. È il tipo di retrieval multimodale che finora viveva quasi esclusivamente in API cloud, con costi per query e un passaggio obbligato dei dati su server esterni.

Il passaggio su WebGPU cambia il perimetro. Non viene caricato nulla su un endpoint remoto: l'intera pipeline di embedding gira nel client, usando la GPU della macchina. Il vantaggio non è solo la privacy, ma il costo marginale nullo per l'utente e una latenza che dipende solo dall'hardware locale. Per archivi fotografici personali, piccoli team o dati sensibili, questo sposta il calcolo dove stanno i dati.

La scelta tecnica ha confini precisi. WebGPU espone la GPU al browser, ma la memoria disponibile è quella del client. I modelli devono essere abbastanza compatti o quantizzati; il contesto non è quello di un server con centinaia di gigabyte di VRAM. EmbeddingGemma 2, con il suo spazio a 768 dimensioni, si presta bene a questo scenario: sufficiente per la ricerca semantica su archivi locali, senza pretendere hardware da data center.

A chi osserva la demo con occhio da sistemista, il segnale è strutturale: il browser sta diventando un ambiente di esecuzione per modelli multimodali, non solo una finestra verso API cloud. TypeScript e WebGPU abbassano la soglia per costruire applicazioni che non dipendono da un servizio di embedding remoto. Per chi sviluppa gallerie, DAM o strumenti di ricerca documentale, la domanda non è più se l'inference locale sia possibile, ma come gestire l'eterogeneità delle GPU client e la distribuzione dei pesi.

La libreria ruNNtime non è un esperimento isolato: supporta diversi modelli di tipo visione e la documentazione interattiva è disponibile sul repository GitHub del progetto. È un dettaglio che trasforma una demo in una base di partenza per integrazioni concrete, senza dover reinventare il runtime.

Se il pattern regge, cambiano gli incentivi. Chi fornisce API per la ricerca visiva dovrà giustificare il valore aggiunto oltre la semplice similarità vettoriale: per archivi piccoli e sensibili, l'edge può essere più economico e più facile da conformare. Al contrario, chi deve indicizzare milioni di immagini continuerà a usare infrastrutture centralizzate, perché l'hardware locale non scala. La vera partita si sposta sulla distinzione tra ricerca personale e ricerca su scala aziendale, non più sul fatto che l'inference debba per forza avvenire nel cloud.

Per chi valuta deployment on-premise o edge, AI-RADAR offre framework analitici su /llm-onpremise: uno strumento per separare i casi in cui il browser basta da quelli in cui serve un parco server. La prossima verifica sarà osservare se EmbeddingGemma 2, o modelli simili, entreranno nei gestori di foto consumer. Se la risposta arriverà dai browser, la sovranità dei dati avrà un alleato inatteso: la GPU del portatile.