Nuove tecniche di quantization a 1 e 2 bit stanno riducendo i modelli linguistici a dimensioni adatte a GPU consumer e professionali. Nemotron 3.5 Bolt, Boole-1.7B e la compressione a interi algebrici mostrano che l’efficienza on-premise avanza rapidamente.
NVIDIA descrive Nemotron 3.5 Bolt come modello vision-language per task agentici locali: 74B parametri totali, 9B attivi, quantization nativa a 2 bit e footprint da 24 GB. Supporta testo, immagini, video e contesto fino a 256K token; l'esecuzione avv...
NVIDIA annuncia per il 15 ottobre Nemotron Bolt 3.5 74B A9B, un MoE da 74 miliardi di parametri (9 miliardi attivi) compresso in 24 GB con quantization a 2 bit e addestramento consapevole della quantization. L'obiettivo dichiarato è bilanciare veloci...
Precision Numerics debutta con Boole-1.7B, versione a 1 bit di Qwen3-1.7B da 247 MB, 13,9 volte più piccola del BF16. Conserva l'85,9% del punteggio medio su dieci task, supera Bonsai-1.7B a 1 bit e quasi eguaglia la versione a 1,58 bit. Disponibile ...
Un nuovo formato di compressione per LLM usa interi algebrici invece dei soliti formati in virgola mobile o fixed-point. La ricerca mostra accuratezza competitiva con il formato MX a parità di bit per parametro. Per l’inference self-hosted, il vantag...
