Il rilascio aperto di architetture sparse e mixture-of-experts sta riducendo i costi dell'inference self-hosted e abilitando la distillazione verso modelli più piccoli. Progetti come Ling, Clover e Nanbeige evidenziano che pesi aperti e checkpoint base sono fattori chiave per fine-tuning e deployment locale.
Con llama.cpp v0.8.0 arriva la compatibilità con DFlash2 per Qwen3.8-Flash-Next. Su Apple Silicon M5 Max i test con GGUFs quantizzate mostrano un guadagno medio del 17% nel throughput di decodifica rispetto a MTP, con picchi del 39% sui prompt a list...
DiffuSpace ha rilasciato Clover-35B-A3B-Preview, un modello a diffusione open source con backbone MoE da 35 miliardi di parametri e circa 3 miliardi di parametri attivi per token. Finestra di contesto da 128K token. Per il deployment on-premise conta...
Il checkpoint 1019 di Ling-3.1-flash è ora su Hugging Face insieme al base model in BF16. Restano 560 miliardi di parametri totali, 25 miliardi attivi e una context window da un milione di token. L'aggiornamento porta l'AA Intelligence Index da 41 a ...
inclusionAI aggiorna Ling-3.1-flash: 560B parametri totali, 25B attivi per token e finestra di contesto da 1M token. Migliorano i benchmark agentici e scientifici. Il checkpoint base viene aperto alla ricerca. L'articolo analizza le implicazioni per ...
Nanbeige4.3-33B non è solo un benchmark: è un insegnante per una pipeline di distillation. Per chi gestisce inference self-hosted, il segnale è chiaro: il costo si sposta dal deployment alla fase di distillazione. Il 3B potrà girare su hardware modes...
Il team di Nanbeige presenta il modello da 33B come più forte di Qwen3.8-27B su diversi benchmark, ma il punto centrale è la pipeline di distillation: servirà a produrre versioni da 3B e forse altre taglie. Per chi valuta deployment self-hosted, un 3...
