Un LLM da 27 miliardi di parametri che si carica nel browser e occupa meno di 6 GB. Ternary Bonsai 2, appena pubblicato su Hugging Face, non è una demo giocattolo: deriva da Qwen3.8-27B, un modello linguistico causale con hybrid-attention la cui architettura resta invariata. La differenza è nei pesi: invece di usare la precisione FP16, adotta una quantization ternaria che riduce l'ingombro di circa 9 volte. Secondo la model card, il modello conserva il 98,2% dell'intelligenza dell'originale.

Il dato più rilevante non è il punteggio dichiarato, ma il target di esecuzione: WebGPU. Il browser diventa un runtime di inference locale, capace di usare la GPU del dispositivo senza passare da un server remoto. Per chi lavora su dati sensibili o vuole evitare chiamate API a servizi cloud, questo sposta il confine della praticabilità: un modello da 27B sotto i 6 GB sta nella memoria di molti dispositivi consumer e non richiede un deployment on-premise tradizionale con container e orchestrazione.

C'è però una distinzione da fare. La model card fornisce una stima di qualità, non un benchmark indipendente. Il 98,2% di intelligenza conservata è un'affermazione del produttore e va letta come tale. La quantization ternaria porta i pesi a un insieme ristretto di valori, il che semplifica la moltiplicazione matrice-vettore e riduce il bandwidth necessario: un vantaggio strutturale per l'inference su hardware modesto. Ma il prezzo può emergere su compiti lunghi, ragionamento complesso o conoscenza fine, dove la perdita di precisione dei pesi si fa sentire in modi non sempre catturati da una media.

Il rilascio segnala comunque un cambiamento di incentivi. Se un modello da 27B può girare in un tab del browser, la pressione sui provider cloud per l'inference commodity diminuisce per una classe di casi d'uso local-first. Le aziende che puntano sulla sovranità dei dati possono valutare applicazioni web che non trasferiscono prompt all'esterno: il testo rimane sul dispositivo, mentre il modello viene scaricato una volta e poi eseguito via WebGPU. Non serve una GPU server, non serve un'infrastruttura Kubernetes, non serve una pipeline di serving separata.

Ma il framework non è privo di attriti. WebGPU non è ancora uniforme tra browser e sistemi operativi: la disponibilità di estensioni e la qualità dei driver variano, e le performance di inference nel browser possono essere meno prevedibili di un runtime nativo. Inoltre, un'applicazione web che carica un modello da 6 GB deve gestire il download iniziale, la cache e l'aggiornamento dei pesi, aspetti che incidono sul TCO reale di un deployment edge.

Per chi valuta deployment on-premise, AI-RADAR pubblica framework analitici su /llm-onpremise per pesare questi trade-off: non si tratta solo di scegliere tra cloud e server, ma di capire quando il browser può entrare nell'architettura senza trasformarsi in un collo di bottiglia. Ternary Bonsai 2 non risolve da solo questa domanda, ma la rende concreta: un LLM da 27B sotto i 6 GB è un segnale che l'unità di deployment dell'inference locale si sta spostando verso il dispositivo, e i prossimi mesi diranno se gli sviluppatori seguiranno questa strada.