Architetture mixture-of-experts, quantization a bassa precisione e parametri attivi ridotti stanno rendendo i modelli di grandi dimensioni utilizzabili on-device e on-premise. Le novità spaziano da modelli multimodali, di codice e a contesto lungo fino ad applicazioni pratiche come la lettura degli scontrini.
Un esperimento su Reddit mostra che sostituire il PLE quantizzato dei GGUF comuni con il sidecar FP8 completo migliora la qualità percepita di Qwen 3.8 Flash Next, senza impatto sulla velocità. Cresce solo lo spazio su disco.
La pubblicazione di Dory1.0-4B-BF16 mostra come la precisione BF16 ridefinisca il deployment locale. Non è solo un modello piccolo: circa 8 GB di pesi spostano l'attenzione su VRAM, TCO e quantization. Per team con workstation e piccoli server, il se...
Un modello da 4 miliardi di parametri in precisione BF16 firmato NVIDIA Nemotron Labs appare su Hugging Face. Non è la dimensione a contare, ma il formato: BF16 tiene il modello lontano dalle compressioni spinte e lo colloca nello spazio dei deployme...
Il progetto ORL (On-Policy Residual Learning) promette di accelerare i diffusion LLM senza sacrificare la qualità. Su una singola RTX 5090 il team segnala 2.788 token/s con LLaDA-2.1-mini in NVFP4; il motore di inference dlmrt, open source, sfrutta C...
Reflection ha rilasciato Beam, LLM aperto con architettura MoE da 501 miliardi di parametri totali e 23 miliardi attivi. Supporta contesto da 1 milione di token e precisioni BF16, FP8 e NVFP4. La tesi è il ragionamento token-efficiente: circa un terz...
La scheda del modello Tencent Hy-Memory-30B-A3B accende il dibattito su un dato sfuggente: un'architettura con 3 miliardi di parametri attivi su 30 miliardi totali supererebbe Opus 5 in un test di memoria non specificato. Il punto non è il benchmark,...
Un test empirico di tre giorni su GYRO-M, quantization Q2 del modello Qwen Flash Next, segnala stabilità paragonabile al q3 ISTA con dimensioni ridotte. Il progetto nasce da un singolo contributore e mostra tenuta su contesti lunghi, ma evidenzia cri...
NVIDIA descrive Nemotron 3.5 Bolt come modello vision-language per task agentici locali: 74B parametri totali, 9B attivi, quantization nativa a 2 bit e footprint da 24 GB. Supporta testo, immagini, video e contesto fino a 256K token; l'esecuzione avv...
Microsoft AI ha sviluppato una versione locale di MAI Code 1.1 Flash, modello di coding ottimizzato con architettura mixture-of-experts: 137 miliardi di parametri totali e 6,8 miliardi attivi. La notizia segnala una spinta verso strumenti di sviluppo...
Il modello inclusionAI Ling-3.1-flash appare su Hugging Face con 560 miliardi di parametri totali, 25 miliardi attivi per token e una context window da 1 milione di token. Una configurazione MoE che riduce il costo computazionale per token, ma sposta...
NVIDIA annuncia per il 15 ottobre Nemotron Bolt 3.5 74B A9B, un MoE da 74 miliardi di parametri (9 miliardi attivi) compresso in 24 GB con quantization a 2 bit e addestramento consapevole della quantization. L'obiettivo dichiarato è bilanciare veloci...
LiquidAI ha presentato LFM2.5-24B-A2B, un modello di ragionamento da 24 miliardi di parametri totali e 2,45 miliardi attivi. Pensato per agenti privati on-device, promette di competere con Qwen3.6-35B-A3B e di girare fino a 1,7 volte più veloce dei M...
OpenBMB ha rilasciato MiniCPM-V 4.7, modello multimodale 35B-A3B e primo MoE della serie a girare fluidamente on-device. Con Lookahead Expert Scheduling, quantization layer-wise e speculative sampling, dichiara 13+ token/s su iPhone 17 Pro Max. Suppo...
Precision Numerics debutta con Boole-1.7B, versione a 1 bit di Qwen3-1.7B da 247 MB, 13,9 volte più piccola del BF16. Conserva l'85,9% del punteggio medio su dieci task, supera Bonsai-1.7B a 1 bit e quasi eguaglia la versione a 1,58 bit. Disponibile ...
Un modello da 0,8B che legge scontrini sul telefono mostra l'inference on-device come opzione concreta per documenti personali. Il progetto intreccia fine-tuning su dati donati, output JSON e una valvola self-hosted via server OpenAI-compatibile. Il ...
Uno sviluppatore ha creato un'app Android gratuita che usa un modello di visione da 0,8 miliardi di parametri per leggere foto di scontrini ed estrarre negozio, data, totale e voci singole in JSON. Il modello, sottoposto a fine-tuning su ricevute, gi...
Un report tecnico su Kairos combina attenzione lineare, sliding-window e MoE in un modello byte-level multimodale. Gli autori verificano solo la convergenza su una singola frase da 440 byte, non la generalizzazione. Il target da 200M/25M parametri è ...
Un nuovo formato di compressione per LLM usa interi algebrici invece dei soliti formati in virgola mobile o fixed-point. La ricerca mostra accuratezza competitiva con il formato MX a parità di bit per parametro. Per l’inference self-hosted, il vantag...
