Una nuova generazione di modelli open-weight – come Ling-3.0-flash, Maple-Preview e LLM on-device – utilizza Mixture of Experts con pochissimi parametri attivi o quantization ternaria. Ciò consente inference di alta qualità su GPU consumer e persino smartphone, abbassando la barriera per il deployment locale dell'IA.
Un developer ha eseguito LFM2.5-2.6B, un LLM da 2,69 miliardi di parametri con finestra di contesto di 128K, su uno smartphone OnePlus 13 usando solo CPU e quantization Q4_K_M. L'inference engine custom, di appena 450 KB, raggiunge 17 tok/s e support...
Maple-Preview è un nuovo modello open-weight da 20 miliardi di parametri, con soli 1 miliardo di attivi per token e pesi in quantization ternaria. La combinazione riduce drasticamente la VRAM necessaria per l’inference, avvicinando scenari on-premise...
InclusionAI ha rilasciato Ling-3.0-flash, un modello MoE open-weight da 124 miliardi di parametri con appena 5 miliardi attivi per token. Annunciato prima dell’ondata Kimi K3 e DeepSeek-V4-Flash, il suo dimensionamento potrebbe ritagliargli una nicch...
Tre LLM open-weight ottengono su IMO-GradingBench accordo con umani pari a Claude e Gemini, ma con costi fino a 100X inferiori. La regola di voto unanime si rivela la più stabile, aprendo scenari concreti per valutazioni locali, sovrane e a TCO ridot...
