Nuovi modelli aperti compatti, sparsi o quantizzati e ottimizzazioni di runtime e ragionamento rendono praticabile l'esecuzione di LLM ad alto contesto su GPU consumer, CPU e sistemi self-hosted.
Un nuovo metodo di post-training quantization, REAL-Q, usa la discesa del gradiente a blocchi per ridurre fino a circa il 49% la divergenza KL end-to-end rispetto ai metodi di secondo ordine su LLaMA-3.1 e Qwen3 a W4A16. Un risultato che tocca i depl...
Due nuovi LLM compatti, Spark-X2.5-4B e Spark-X2.5-1.7B, si presentano con architettura non derivata da fine-tuning e un contesto nativo dichiarato di 1 milione di token. I benchmark citati sulla pagina Hugging Face indicano la versione da 4B vicina ...
La segnalazione su Reddit è scarna, ma il messaggio è chiaro: il supporto MTP per Qwen3.8-Flash-Next in formato GGUF promette di aumentare i token al secondo nelle esecuzioni con llama.cpp. Più che una singola ottimizzazione, è un segnale sulla direz...
ERR+ introduce un framework RLVR in due fasi che premia i cali di entropia a livello di token e l'efficienza relativa della lunghezza. Le tracce corrette risolvono l'incertezza in modo più marcato. Nei test su cinque dataset migliorano accuratezza e ...
Un test su Reddit usa GLM 5.3 e Flash in quantization Q4 su 4-6 RTX PRO 6000 WS per generare un attico in Blender via BlenderMCP. Flash completa la scena con un terzo dei token e tempi simili, mentre il modello full pensa 22 minuti prima di agire. Il...
Un repository su Hugging Face con nome DeepSeek-V4-Flash-Vision-Exp circola su Reddit senza dettagli tecnici. Il nome suggerisce un modello visione-linguaggio efficiente e sperimentale, ma senza VRAM, quantization o licenza. Per chi valuta self-hoste...
Sostituire la proiezione densa sul vocabolario con una ricerca approssimata su indice HNSW accelera la decodifica autoregressiva su CPU. Nei test con Gemma 3, Llama 3.2 e Qwen 3, il throughput batch-one di Gemma 3 270M migliora fino all'82%, senza pe...
LLMFan46 ha pubblicato varianti GGUF di LongCat-Flash-Lite-Sparse, Qwen3.8-27B e Qwen3.5-122B-A10B, oltre a Qwen3-Coder-Next e Laguna-S2.1 con visione opzionale. La dipendenza da un fork personale di llama.cpp per sparse attention e contesto da 1 mil...
Il supporto a RadixArk/Qwen3.8-Flash-Next-NVFP4 in SGLang-V100 mostra quattro V100 32GB con contesto completo da 256k token e oltre 50GB di offload sulla RAM di sistema. Prefill intorno a 4.000 token/s, decoding intorno a 60 token/s. I dati MTP segna...
Un setup su Reddit mostra un modello dense da 27 miliardi di parametri a 47-50 token/s con contesto da 100.000 token su una RTX 4070 Ti SUPER da 16 GB. Il segnale non è il modello, ma il controllo fine del runtime: cache KV asimmetrica kvarn5/kvarn4,...
Un test di tre ore e mezzo su MacBook Pro M5 Max con 128 GB di memoria unificata esegue un modello Qwen3.8-Flash-Next da 78,9 GB in quantization 2 bit con slot da 358.400 token. Il prefill scende da 1.561 a 318 token/s; la generazione da 30–35 a 11,5...
Un setup documentato su Reddit porta un Qwen3.8-27B su una RTX 4070 Ti SUPER a 47-50 token/s con 100.000 token di contesto. Il merito è del runtime beellama.cpp e della cache KV asimmetrica kvarn5/kvarn4, che ha liberato circa il 6% di VRAM. La coda ...
Z.ai usa la stessa base di GLM-5.2 per GLM-5.3, ma i guadagni arrivano tutti dal post-training. Il coding migliora del 50% sul Code Bench interno e tocca lo stato dell'arte su Terminal Bench 3.0 e Agents' Last Exam. La vera novità è la cyber capabili...
llama.cpp ha integrato il supporto per Qwen3.8-Flash-Next e una segnalazione comunitaria mostra 55 token/s con GGUF Q4 su quattro RTX 3090. Un test informale che sposta l’attenzione dal software all’hardware: per l’inference locale il costo e la comp...
Il team di Apodex presenta un AMA su Apodex 1.1, famiglia di modelli aperti per lavoro agente complesso. Oltre ai checkpoint, rilascia un harness open source e due paper. I formati includono FP8, GPTQ-Int4 e NVFP4, segnale che l'inference locale entr...
Il team di Apodex ha presentato Apodex 1.1, famiglia di modelli aperti pensata per lavoro complesso con ragionamento, ricerca, esecuzione di codice e coordinamento di più agenti. Accanto ai modelli, rilascia FrontierAgent e due paper. Le varianti NVF...
Un Mac Studio M4 Max con 128 GB di memoria unificata ha ospitato il test di Qwen3.8-Flash-Next, il primo modello dell'anno a superare il 94% sul benchmark personale di tolitius. Il modello da 27B eccelle nel coding ma perde in conoscenza generale con...
La pagina Hugging Face di zai-org/GLM-5.3-Flash segnala la disponibilità di un nuovo modello, ma nessuna specifica tecnica. Per chi valuta un deployment self-hosted, il nome Flash promette efficienza nell'inference, mentre l'assenza di dettagli su VR...
Il team Qwen ha pubblicato Qwen3.8-Flash-Next, modello open-weight da 125B con 6B attivi e contesto nativo da 262.144 token. L’architettura unisce Qwen Sparse Attention, Gated Residual e n-gram embedding per ridurre la latenza sui contesti lunghi e r...
IBM ha rilasciato Granite 4.2, tre LLM open-weight da 3, 8 e 30 miliardi di parametri pensati per il download e il self-hosted. Tutti offrono una finestra di contesto nativa di 128.000 token. Le varianti 8B e 30B aggiungono un blocco di reinforcement...
