Precision Numerics ha esordito con Boole-1.7B, una versione a 1 bit di Qwen3-1.7B che porta i pesi compressi a 247 MB, 13,9 volte meno del corrispettivo BF16. Il dato tecnico non è solo una curiosità: secondo la valutazione su dieci task pubblicata dall'azienda, il modello conserva l'85,9% del punteggio medio della versione BF16, supera il Bonsai-1.7B a 1 bit e quasi eguaglia il Bonsai-1.7B a 1,58 bit. I pesi sono su Hugging Face, il codice demo per vLLM e llama.cpp su GitHub, e una chat locale nel browser è già disponibile.

La mossa è interessante perché il confronto non è con un generico modello compresso, ma con Bonsai, un nome che nel panorama open source è già associato a esperimenti di quantization spinta. Precision Numerics non si limita a pubblicare i pesi: indica due percorsi di utilizzo, una demo locale nel browser per task a bassa latenza in inglese e in modalità non-thinking, e il serving con vLLM o llama.cpp. La scelta di due stack di inference tra i più diffusi non è neutra: abbassa l'attrito per chi vuole testare il modello su hardware proprio.

La tesi implicita è che la quantization a 1 bit stia diventando una leva di deployment, non un compromesso da laboratorio. Se un modello da 1,7 miliardi di parametri compresso a 247 MB mantiene una quota significativa delle prestazioni BF16 su un paniere di task, il ragionamento sul TCO cambia. Non serve più una GPU con grande VRAM per sperimentare un LLM locale: il collo di bottiglia si sposta sul software, sulla latenza e sui limiti operativi del modello. La demo nel browser, limitata all'inglese e alla modalità non-thinking, è un promemoria: la compressione non elimina i vincoli linguistici e di ragionamento, li rende più visibili.

Chi beneficia di questo annuncio? La comunità open source e chi gestisce servizi on-premise o edge: modelli più piccoli riducono i requisiti di memoria e semplificano l'aggiornamento delle pipeline. Chi potrebbe perderci? Chi vende capacità di inference esclusivamente via cloud per carichi leggeri: se un modello da 247 MB gira in un browser, parte della domanda di API per task semplici può migrare verso l'esecuzione locale. È presto per parlare di sostituzione, ma il segnale strutturale c'è: la corsa ai modelli a bassa precisione sta accelerando, e il confronto esplicito con Bonsai indica che la competizione non è solo sui parametri, ma sull'efficienza reale dopo la quantization. Per chi valuta deployment on-premise, i trade-off tra footprint di memoria, qualità media e stack di serving sono esattamente il tipo di variabile che AI-RADAR analizza su /llm-onpremise.

Precision Numerics promette modelli più capaci e chiede alla comunità quali capacità vorrebbe vedere. La domanda non è retorica: in un segmento dove un punto percentuale di qualità e qualche megabyte in meno possono cambiare il deployment, il feedback degli utilizzatori locali diventa parte della roadmap. Boole-1.7B è un primo banco di prova, ma la direzione è chiara.