Tecniche come la quantization a 1 e 2 bit, la compressione con interi algebrici e la SVD della KV-cache riducono gli LLM per adattarsi a hardware modesto preservando l'accuratezza.
NVIDIA annuncia per il 15 ottobre Nemotron Bolt 3.5 74B A9B, un MoE da 74 miliardi di parametri (9 miliardi attivi) compresso in 24 GB con quantization a 2 bit e addestramento consapevole della quantization. L'obiettivo dichiarato è bilanciare veloci...
OpenBMB ha rilasciato MiniCPM-V 4.7, modello multimodale 35B-A3B e primo MoE della serie a girare fluidamente on-device. Con Lookahead Expert Scheduling, quantization layer-wise e speculative sampling, dichiara 13+ token/s su iPhone 17 Pro Max. Suppo...
Precision Numerics debutta con Boole-1.7B, versione a 1 bit di Qwen3-1.7B da 247 MB, 13,9 volte più piccola del BF16. Conserva l'85,9% del punteggio medio su dieci task, supera Bonsai-1.7B a 1 bit e quasi eguaglia la versione a 1,58 bit. Disponibile ...
Un nuovo formato di compressione per LLM usa interi algebrici invece dei soliti formati in virgola mobile o fixed-point. La ricerca mostra accuratezza competitiva con il formato MX a parità di bit per parametro. Per l’inference self-hosted, il vantag...
Un learning rate condiviso può fabbricare vantaggi inesistenti quando si confrontano ricette di fine-tuning con numeri di parametri diversi. Nella compressione SVD della KV-cache, l'healing solo dell'encoder sembrava superiore, ma con learning rate d...
La collezione JetBrains/Mellum2.1-12B-A2.5B-Thinking-GGUF mette in fila due scelte tecniche rilevanti per il self-hosted: architettura MoE con pochi parametri attivi e distribuzione in GGUF. Meno calcolo per token, quantization pronta per CPU e GPU c...
Un preprint su arXiv descrive LittleBit, un approccio di quantization ultra-low-bit basato su fattorizzazione latente e quantization aware training per modelli molto piccoli. La notizia interessa chi gestisce LLM on-premise: non si tratta solo di ris...
