Un'ondata di modelli MoE open-weight con enormi parametri totali ma pochi attivi, combinati con quantization aggressiva, sta rendendo eseguibili LLM ad alte prestazioni su hardware consumer.
Maple-Preview porta i pesi ternari su 20 miliardi di parametri, occupando solo 5 GB e attivando 1 miliardo di parametri per token con un design MoE-like. La preview apre a inference locale su GPU consumer, ma il supporto dei framework è ancora acerbo...
Maple-Preview è un nuovo modello open-weight da 20 miliardi di parametri, con soli 1 miliardo di attivi per token e pesi in quantization ternaria. La combinazione riduce drasticamente la VRAM necessaria per l’inference, avvicinando scenari on-premise...
InclusionAI ha rilasciato i pesi di Ling-3.0-flash su Hugging Face. Il modello conta 127,5 miliardi di parametri con un'architettura a 512 esperti, di cui solo 8 attivi per token. La vera notizia è la versione FP8 ufficiale: 128GB, sufficienti per un...
InclusionAI ha rilasciato Ling-3.0-flash, un modello MoE open-weight da 124 miliardi di parametri con appena 5 miliardi attivi per token. Annunciato prima dell’ondata Kimi K3 e DeepSeek-V4-Flash, il suo dimensionamento potrebbe ritagliargli una nicch...
thinkingmachines ha rilasciato Inkling-Small, un LLM a mistura di esperti con 276 miliardi di parametri e soli 12 miliardi attivi, finestra di contesto da 1 milione di token e quantizzazioni NVFP4 e GGUF. L'analisi AI-RADAR mette a fuoco il nodo nasc...
Thinkingmachines ha rilasciato Inkling-Small, un LLM con 276 miliardi di parametri totali ma appena 12 miliardi attivi e una finestra di contesto di 1 milione di token. Grazie alla quantization NVFP4 e ai file GGUF di Unsloth, il modello si presta al...
Il provider di inference Baseten ha rilasciato pubblicamente GLM-5.2-Vision, una versione del modello GLM 5.2 arricchita con un encoder visivo tratto da Kimi k2.6 e quantizzata in formato NVFP4. La mossa colma una lacuna segnalata dalla community e a...
L'esperimento di un utente mostra il modello Kimi K3 in esecuzione locale con quantization Q2_K, 768GB di RAM di sistema e due GPU NVIDIA 5090. Prefill a 50-70 token/s e decodifica intorno a 4 token/s, ma la velocità di generazione aumenta nel tempo,...
