I progetti di ricerca riducono calcolo e memoria con ottimizzazioni MoE, pesi a 1 bit, decodifica MTP, quantization dinamica e training distribuito su hardware consumer.
La scadenza del 10 novembre per PyTorch Day China 2026 rivela un'agenda concentrata su training distribuito, inference efficiente, accelerazione hardware e AI fisica. L'analisi: le tracce scelte mostrano come il framework guardi sempre più ai vincoli...
La Call for Proposals del PyTorch Day China 2026 chiude il 10 novembre. L'evento di Pechino del 12 dicembre mette al centro cinque aree tematiche, con un'enfasi inedita su inference efficiente, accelerazione hardware e physical AI. Per chi valuta sta...
Unsloth ha rilasciato i nuovi GGUF Unsloth Dynamic v3.1 per Qwen3.8-Flash-Next, con guadagni di accuratezza del 10-15% su benchmark agentici come DeepSWE e Terminal Bench. Include un processo di switching tra precisioni BF16, Q8_0, Q5_1 e IQ4_NL, con...
ISTA DASLab ha rilasciato una build Coder di DeepSeek-V4.1-Flash-1017 con metà degli esperti instradati rimossa e pesi transformer compressi a 1 bit per parametro. Il GGUF occupa 72,1 GB di pesi transformer, contro 138,2 GB della build non potata, e ...
Il repository Hugging Face JetBrains/Mellum2.1-12B-A2.5B-Thinking-MTP introduce una testa multi-token prediction integrata che accelera il decoding di 1,4–1,8x accettando circa il 90% dei token proposti. vLLM 0.33, transformers 5.20 e llama.cpp la su...
Un nuovo studio analizza GRPO e la variante leggera LiSAO, mostrando un'inversione: GRPO domina nei task di ragionamento, LiSAO nei compiti agentici. Il ritardo iniziale di LiSAO nasce dal modello di valore non ancora addestrato. Per risolverlo, Li²S...
Il progetto CrowdGPT rilascia la versione 2.6 e mostra un percorso concreto per addestrare un LLM da un miliardo di parametri su PC distribuiti, senza datacenter. Sei giorni per 4,5 miliardi di token, con controlli bizantini a tre client, firma critt...
Un sistema di training per modelli Mixture-of-Experts riduce dal 21,2% al 44,8% il tempo cumulativo sugli strati MoE rispetto a SYMI, intervenendo sulla domanda di memoria nella retropropagazione e sul bilanciamento del lavoro trattenuto. LRMoE piani...
Con llama.cpp v0.8.0 arriva la compatibilità con DFlash2 per Qwen3.8-Flash-Next. Su Apple Silicon M5 Max i test con GGUFs quantizzate mostrano un guadagno medio del 17% nel throughput di decodifica rispetto a MTP, con picchi del 39% sui prompt a list...
ISTA attribuisce la differenza nei benchmark al budget di 32K token imposto da Unsloth, contro i 128K di output del proprio setup. Il caso del modello da 763B con context window da 1M mostra perché il costo dell'inference, più dei parametri, decide i...
SenseNova porta su Hugging Face un LLM multimodale con decoder a blocchi riutilizzati e attenzione ibrida. Con 24 layer eseguiti due volte e 56 esecuzioni da 32 layer distinti, punta a carichi agentici e documenti fino a 256K token. L'approccio riduc...
A EMNLP 2026, un team di T-Tech ha mostrato LIMe, un'estensione dell'attenzione che riusa i buffer key-value degli strati precedenti. Nei test con modelli da circa un miliardo di parametri, il training raggiunge la stessa loss di LLaMA usando il 15% ...
