Nuovi modelli open-weight combinano un alto numero di parametri totali con pochi parametri attivi, contesti lunghi e licenze permissive, puntando a hardware locale limitato. Tra gli esempi figurano Kolibri-1, Ling-3.1-flash e altre architetture MoE con un numero ridotto di parametri attivi.
Blockway pubblica un modello da 32B con architettura ibrida: 54 layer lineari, 17 ad attenzione compressa-sparsa, uno full-attention e memoria n-gram in RAM. Solo 18 layer su 72 mantengono il KV cache, con contesto a 262K e decode quasi stabile tra 1...
Un ricercatore ha addestrato Apex-2, un modello MoE decoder-only da 3,87 miliardi di parametri totali e 1,45 miliardi attivi per token, usando 86,5 miliardi di token e passando da uno a due GH200 con DiLoCo. Il checkpoint base raggiunge in HumanEval+...
Aleph Alpha pubblica la scheda di Kolibri-1: 78 miliardi di parametri totali, 3,46 miliardi attivi e contesto da 1 milione di token con licenza Apache 2.0. L'analisi AI-RADAR mostra come il vincolo si sposti dal calcolo alla memoria e alla cache KV, ...
Il progetto Kyojin porta due modelli MoE da circa 300 miliardi di parametri su un singolo mini PC con AMD Strix Halo e 128 GB di memoria. Misurati su Ryzen AI Max+ 395, GLM-5.3-Flash e MiMo-V2.6-Flash raggiungono prefill fino a 650 token/s e decode f...
Aleph Alpha pubblica Kolibri-1, un LLM da 78 miliardi di parametri con 3,46 miliardi attivi per token e contesto fino a 1 milione di token, sotto Apache 2.0. La combinazione tocca tre vincoli dei deployment self-hosted: memoria, calcolo e licenza. Ma...
Microsoft ha rilasciato un modello da 4 miliardi di parametri derivato da Qwen3.5-4B, addestrato con reinforcement learning su ambienti SWE sintetici per il software engineering agentico. L'approccio senza distillazione comportamentale punta a ridurr...
Secondo la segnalazione, Ling-3.1-flash combina 560 miliardi di parametri totali, 25 miliardi attivi per token e una finestra di contesto fino a un milione di token, con due settimane di prova gratuita e poi rilascio open source. Il profilo suggerisc...
