Nuovi modelli aperti combinano un elevato numero di parametri totali con pochi parametri attivi e finestre di contesto molto lunghe, puntando a deployment locali ed edge. Architetture come Kolibri-1, Ling-3.1-flash e design ibridi con KV cache spostano il vincolo dal calcolo alla memoria.
Blockway pubblica un modello da 32B con architettura ibrida: 54 layer lineari, 17 ad attenzione compressa-sparsa, uno full-attention e memoria n-gram in RAM. Solo 18 layer su 72 mantengono il KV cache, con contesto a 262K e decode quasi stabile tra 1...
Un utente ha assemblato un setup di inference interamente locale con GLM 5.3 Flash su due DGX Spark, usando vLLM con parallelismo tensoriale a due vie. I numeri dichiarati: prefill a circa 1.500 token/s e decode a circa 40 token/s con 100mila token d...
Aleph Alpha pubblica la scheda di Kolibri-1: 78 miliardi di parametri totali, 3,46 miliardi attivi e contesto da 1 milione di token con licenza Apache 2.0. L'analisi AI-RADAR mostra come il vincolo si sposti dal calcolo alla memoria e alla cache KV, ...
Il progetto Kyojin porta due modelli MoE da circa 300 miliardi di parametri su un singolo mini PC con AMD Strix Halo e 128 GB di memoria. Misurati su Ryzen AI Max+ 395, GLM-5.3-Flash e MiMo-V2.6-Flash raggiungono prefill fino a 650 token/s e decode f...
Aleph Alpha pubblica Kolibri-1, un LLM da 78 miliardi di parametri con 3,46 miliardi attivi per token e contesto fino a 1 milione di token, sotto Apache 2.0. La combinazione tocca tre vincoli dei deployment self-hosted: memoria, calcolo e licenza. Ma...
Secondo la segnalazione, Ling-3.1-flash combina 560 miliardi di parametri totali, 25 miliardi attivi per token e una finestra di contesto fino a un milione di token, con due settimane di prova gratuita e poi rilascio open source. Il profilo suggerisc...
