Quantization a 1,75 bit, architetture sparse o MoE e distillazione riducono il costo di esecuzione dei grandi LLM, mentre i modelli con contesto da un milione di token rendono centrali VRAM e cache.
Un dettaglio in una pull request riaccende il dibattito su una classe di LLM da 120 miliardi di parametri. Per chi gestisce deployment self-hosted, la taglia ridefinisce i calcoli su VRAM, quantization e TCO, senza annunci ufficiali. Il segnale indic...
Un sistema di training per modelli Mixture-of-Experts riduce dal 21,2% al 44,8% il tempo cumulativo sugli strati MoE rispetto a SYMI, intervenendo sulla domanda di memoria nella retropropagazione e sul bilanciamento del lavoro trattenuto. LRMoE piani...
Con llama.cpp v0.8.0 arriva la compatibilità con DFlash2 per Qwen3.8-Flash-Next. Su Apple Silicon M5 Max i test con GGUFs quantizzate mostrano un guadagno medio del 17% nel throughput di decodifica rispetto a MTP, con picchi del 39% sui prompt a list...
ISTA attribuisce la differenza nei benchmark al budget di 32K token imposto da Unsloth, contro i 128K di output del proprio setup. Il caso del modello da 763B con context window da 1M mostra perché il costo dell'inference, più dei parametri, decide i...
Una pull request nel repository QwenLM/qwen-code accende i riflettori su un possibile modello da 120 miliardi di parametri. Non è un annuncio ufficiale, ma la taglia da 120B tocca un nodo centrale per i deployment on-premise: VRAM aggregata, quantiza...
A EMNLP 2026, un team di T-Tech ha mostrato LIMe, un'estensione dell'attenzione che riusa i buffer key-value degli strati precedenti. Nei test con modelli da circa un miliardo di parametri, il training raggiunge la stessa loss di LLaMA usando il 15% ...
La pull request in qwen-code segnala che Qwen4 punta a una finestra da un milione di token. Per chi fa inference self-hosted il costo non è teorico: la cache chiave-valore cresce con i token e satura la VRAM insieme ai pesi. Qwen4-27B rende probabili...
Alibaba porta Qwen4 a un milione di token di contesto. La notizia emerge da una pull request in qwen-code: Qwen4-27B atteso domani all'evento Apsara nei Paesi Bassi, Qwen4-max datato 1° novembre con possibile placeholder al 1° ottobre. L'analisi si c...
DiffuSpace ha rilasciato Clover-35B-A3B-Preview, un modello a diffusione open source con backbone MoE da 35 miliardi di parametri e circa 3 miliardi di parametri attivi per token. Finestra di contesto da 128K token. Per il deployment on-premise conta...
Il checkpoint 1019 di Ling-3.1-flash è ora su Hugging Face insieme al base model in BF16. Restano 560 miliardi di parametri totali, 25 miliardi attivi e una context window da un milione di token. L'aggiornamento porta l'AA Intelligence Index da 41 a ...
inclusionAI aggiorna Ling-3.1-flash: 560B parametri totali, 25B attivi per token e finestra di contesto da 1M token. Migliorano i benchmark agentici e scientifici. Il checkpoint base viene aperto alla ricerca. L'articolo analizza le implicazioni per ...
Nanbeige4.3-33B non è solo un benchmark: è un insegnante per una pipeline di distillation. Per chi gestisce inference self-hosted, il segnale è chiaro: il costo si sposta dal deployment alla fase di distillazione. Il 3B potrà girare su hardware modes...
Il team di Nanbeige presenta il modello da 33B come più forte di Qwen3.8-27B su diversi benchmark, ma il punto centrale è la pipeline di distillation: servirà a produrre versioni da 3B e forse altre taglie. Per chi valuta deployment self-hosted, un 3...
Il rilascio dei quanti GGUF di DeepSeek-V4.1-Flash-1017 a cura di ISTA-DASLab non è solo una novità di quantization. Mette in luce il vero freno del deployment locale: l'integrazione con i runtime. Con llama.cpp ancora senza supporto ufficiale e il r...
La KLD è spesso trattata come una metrica universale per classificare i modelli quantizzati, ma misura solo la divergenza media tra le distribuzioni di probabilità del modello base e di quello quantizzato. Il numero è fragile: dipende dal dataset, è ...
ISTA DASLab ha pubblicato tre GGUF di DeepSeek-V4.1-Flash-1017 con quantization GSQ e RCO, bit-width da 1,75 a 2,25 sui 551,9 miliardi di parametri backbone. Il file Engram condiviso da 110,6 GB resta mappato su disco. Il modello gira su una singola ...
