Il vostro browser potrebbe già eseguire un modello da 27 miliardi di parametri con un’intelligenza quasi intatta. È il dato di fatto dietro il rilascio di Bonsai 27B da parte del team PrismML, un LLM che porta all’estremo la quantization a 1-bit riducendo il peso del modello da 54 a 3,8 GB (un taglio del 93%) e mantiene circa il 90% delle prestazioni originali. Il tutto senza server: il modello gira interamente in locale grazie a kernel WebGPU scritti su misura, disponibili in demo su Hugging Face.

Non è soltanto un primato di compressione. È la dimostrazione che la soglia dimensionale per l’esecuzione nel browser è stata superata, spostando l’inference di un LLM denso dal data center alla macchina dell’utente. PrismML non ha semplicemente applicato la quantization: ha costruito un runtime WebGPU ottimizzato che rende praticabile l’esecuzione locale in tempo reale, senza dover passare per API cloud o server dedicati. Chiunque disponga di una GPU moderna, anche integrata, può oggi caricare un modello complesso e interagirci restando offline, con latenza governata dalla potenza del proprio hardware.

Per il mondo enterprise questa novità incrina il monopolio del cloud sull’inference di modelli grandi. La possibilità di eseguire un LLM direttamente nel browser — senza dati che escano dal dispositivo — impatta i requisiti di sovranità e compliance (per esempio GDPR). Le aziende che valutano il self-hosting possono immaginare un deployment edge in cui ogni dipendente usa il proprio hardware, abbattendo il TCO legato a macchine server e a banda di rete. Non è un modello perfetto: quel 10% di intelligenza persa nella quantization a 1-bit può essere critico in contesti ad alta precisione, ma per un vasto insieme di task — riassunti, classificazione, generazione di codice assistita — potrebbe bastare.

C’è una lezione architetturale importante. Il successo di Bonsai 27B poggia su kernel WebGPU custom, segno che i motori di inference in-browser stanno diventando un terreno competitivo. Non è più una curiosità accademica: framework come webml-community stanno creando uno strato di esecuzione che emancipa lo sviluppatore dal backend lato server. Questo accelera una rincorsa verso l’on–device anche per modelli più grandi, e potrebbe cambiare gli incentivi per i produttori di silicio: a guadagnarci sono le GPU consumer e i chip con accelerazione AI integrata, mentre i provider di cloud computing vedrebbero ridursi una parte della domanda di inference.

Certo, restano degli interrogativi. La performance in termini di token/secondo varia enormemente a seconda dell’hardware e non è ancora paragonabile a un server dotato di A100. Tuttavia, per chi valuta architetture on-premise, l’esistenza di un LLM denso eseguibile senza infrastrutture dedicate offre una carta nuova: meno dipendenza dal fornitore, controllo totale sui flussi di dati e aggiornamenti gestibili in-house. Bonsai 27B non è un sostituto dei modelli full-precision, ma è un puntatore verso un ecosistema dove l’intelligenza si sposta sempre più al margine. La domanda vera, per i CTO, diventa: quanto basta il 90% dell’intelligenza se in cambio si azzera il rischio di esposizione dei dati?