Modelli sparsi e architetture mixture-of-experts stanno riducendo memoria e costi di calcolo, mentre nuove tecniche di addestramento migliorano ulteriormente l'efficienza.
Un sistema di training per modelli Mixture-of-Experts riduce dal 21,2% al 44,8% il tempo cumulativo sugli strati MoE rispetto a SYMI, intervenendo sulla domanda di memoria nella retropropagazione e sul bilanciamento del lavoro trattenuto. LRMoE piani...
A EMNLP 2026, un team di T-Tech ha mostrato LIMe, un'estensione dell'attenzione che riusa i buffer key-value degli strati precedenti. Nei test con modelli da circa un miliardo di parametri, il training raggiunge la stessa loss di LLaMA usando il 15% ...
DiffuSpace ha rilasciato Clover-35B-A3B-Preview, un modello a diffusione open source con backbone MoE da 35 miliardi di parametri e circa 3 miliardi di parametri attivi per token. Finestra di contesto da 128K token. Per il deployment on-premise conta...
Il checkpoint 1019 di Ling-3.1-flash è ora su Hugging Face insieme al base model in BF16. Restano 560 miliardi di parametri totali, 25 miliardi attivi e una context window da un milione di token. L'aggiornamento porta l'AA Intelligence Index da 41 a ...
inclusionAI aggiorna Ling-3.1-flash: 560B parametri totali, 25B attivi per token e finestra di contesto da 1M token. Migliorano i benchmark agentici e scientifici. Il checkpoint base viene aperto alla ricerca. L'articolo analizza le implicazioni per ...
