Nuovi metodi riducono calcolo e memoria: pesi transformer a 1 bit per DeepSeek, ricalibrazione dell'addestramento MoE, riuso dei buffer KV e accelerazione con multi-token prediction. Indicano deploy locali e distribuiti più efficienti senza sacrificare la qualità dell'output.
ISTA DASLab ha rilasciato una build Coder di DeepSeek-V4.1-Flash-1017 con metà degli esperti instradati rimossa e pesi transformer compressi a 1 bit per parametro. Il GGUF occupa 72,1 GB di pesi transformer, contro 138,2 GB della build non potata, e ...
Il repository Hugging Face JetBrains/Mellum2.1-12B-A2.5B-Thinking-MTP introduce una testa multi-token prediction integrata che accelera il decoding di 1,4–1,8x accettando circa il 90% dei token proposti. vLLM 0.33, transformers 5.20 e llama.cpp la su...
Un sistema di training per modelli Mixture-of-Experts riduce dal 21,2% al 44,8% il tempo cumulativo sugli strati MoE rispetto a SYMI, intervenendo sulla domanda di memoria nella retropropagazione e sul bilanciamento del lavoro trattenuto. LRMoE piani...
Con llama.cpp v0.8.0 arriva la compatibilità con DFlash2 per Qwen3.8-Flash-Next. Su Apple Silicon M5 Max i test con GGUFs quantizzate mostrano un guadagno medio del 17% nel throughput di decodifica rispetto a MTP, con picchi del 39% sui prompt a list...
A EMNLP 2026, un team di T-Tech ha mostrato LIMe, un'estensione dell'attenzione che riusa i buffer key-value degli strati precedenti. Nei test con modelli da circa un miliardo di parametri, il training raggiunge la stessa loss di LLaMA usando il 15% ...
