Un modello da 27 miliardi di parametri che gira interamente su un telefono: fino a ieri sarebbe sembrata un’affermazione da fantascienza. Oggi è realtà con Bonsai 27B, il frutto del lavoro del team PrismML, che ha preso Qwen3.6-27B e lo ha compresso fino a soli 3,9 GB usando una quantization binaria spinta all’estremo. Il modello occupa ora meno di 4 GB, abbastanza per essere caricato nella memoria unificata di un iPhone 15 Pro Max (8 GB) e rispondere con una latenza accettabile tramite l’app Atomic Chat.

Non si tratta della solita compressione con qualche layer lasciato in precisione più alta per “paracadute”. PrismML ha adottato uno schema binario vero, denominato “binary g128”: ogni peso è ridotto a un singolo bit di segno, e un fattore di scala FP16 viene condiviso tra gruppi di 128 pesi. L’occupazione effettiva è di circa 1,125 bit per peso. La sorpresa più grande è che non solo i pesi dei layer lineari, ma anche gli embeddings, le proiezioni di attention e MLP e persino l’LM head sono stati tutti quantizzati a 1 bit, senza eccezioni. Nella pratica corrente, la maggior parte degli schemi a 1 bit conserva alcuni componenti in precisione superiore proprio per evitare collassi nelle fasi iniziali o finali della pipeline. Qui invece si è scelto di andare fino in fondo.

I numeri dei benchmark, raccolti su 15 test, parlano di una media di 76,1 punti contro gli 85,1 del modello FP16 originale: circa l’89,5% di mantenimento. L’ambito che soffre di più è la coppia conoscenza e ragionamento, che scende da 83,2 a 73,4: è qui che l’utente potrebbe notare qualche dettaglio mancante o una risposta meno precisa. La matematica, al contrario, tiene botta con 91,7, suggerendo che i compiti procedurali e simbolici tollerano meglio l’estremo assottigliamento dei pesi.

Sul versante della memoria, il modello si comporta in modo prevedibile: circa 5,2 GB con contesto a 4K token e 6,8 GB con 100K token e cache KV a 4 bit. Numeri che tengono il footprint al di sotto della soglia fisica del dispositivo, lasciando spazio all’app e al sistema operativo.

Questo risultato ha implicazioni che vanno ben oltre la curiosità per un esperimento riuscito. Primo, segnala che la strada della quantization estrema non ha ancora toccato il fondo: se un intero LLM, inclusi embedding e testa di uscita, può essere ridotto a 1 bit senza perdite catastrofiche, allora il gap tra modelli “da server” e modelli “da tasca” si assottiglia rapidamente. Per chi valuta deployment on-premise o edge, il messaggio è che potenze di calcolo fino a ieri confinate nei datacenter iniziano a trovare spazio su hardware consumer, con tutti i vantaggi in termini di latenza, privacy e indipendenza dalla connettività.

Secondo, il fatto che la matematica resista meglio della conoscenza apre un interrogativo progettuale: forse i futuri modelli on-device saranno specializzati per task analitici e strumentali, mentre per la ricerca di informazioni resterà preferibile una precisione maggiore, magari con un ricorso controllato al cloud. Si profila una segmentazione dell’inference in base al tipo di carico.

Terzo, l’approccio senza vie di fuga ad alta precisione mette in discussione l’architettura stessa degli LLM compressi. Se funziona su una base Qwen a 27B, potrebbe funzionare su altre famiglie, spingendo la comunità a riconsiderare dove siano veramente indispensabili i pesi a 16 o 8 bit. Questo potrebbe accelerare lo sviluppo di silicio specializzato per calcolo ternario o binario, ridisegnando la catena di fornitura hardware.

Resta il fatto che un iPhone, oggi, esegue un modello fino a poco fa impensabile su un dispositivo mobile. Non è una demo da laboratorio, ma un prodotto distribuito tramite l’app Atomic Chat. La squadra dietro l’app conferma che il team ha lavorato per ottimizzare l’esecuzione su Apple Silicon sfruttando il framework MLX. È un assaggio concreto di un futuro in cui l’intelligenza artificiale conversazionale di alto livello potrà vivere interamente in tasca, senza intermediari cloud. Per le aziende che investono in sovranità dei dati e infrastrutture locali, è un segnale che la frontiera si sta spostando verso il basso: hardware sempre più accessibile, modelli sempre più compressi, e un controllo che torna nelle mani di chi possiede il dispositivo.