Strumenti comunitari e tecniche di runtime stanno rendendo pratici gli LLM a contesto lungo e MoE su GPU consumer, grazie a cache KV ed expert ottimizzate, quantization, offload su CPU e configurazioni multi-GPU.
Il caso Qwen3.8-Flash-Next su due RTX 3090 mostra che nei modelli MoE la VRAM non è più l'unica variabile: la gerarchia di memoria e la cache degli esperti spostano il decode da 17 a 29 token/s. Un segnale concreto per chi valuta deployment on-premis...
Un intervento su Reddit riporta un passaggio da 15 ore di programmazione attiva a 4 ore per debuggare o implementare una feature con Qwen 27B, anche a 0,5 token al secondo. Il dato ridisegna le aspettative per l'inference asincrona e il calcolo del v...
Per gli LLM locali, il numero di parametri non è l'unico vincolo: la KV cache cresce con ogni token e può diventare il vero collo di bottiglia a contesti da 100k o 200k token. GQA, MQA e quantization riducono l'ingombro, ma il problema resta lineare....
Un utente documenta un balzo del decode da 17 a 25-29 token/s su due RTX 3090, con contesto pieno da 261.888 token, usando la cache LRU degli esperti di llama.cpp e riducendo l'ubatch. La configurazione mantiene i 48 layer di esperti in RAM di sistem...
Perplexity ha reso open source il repository lily in pplx-garden, un inference server per Mac costruito attorno a un solo modello, Qwen 3.6, per ottenere il massimo su Apple Silicon. Non è serving generico: la verticalizzazione su un singolo modello ...
Due nuovi LLM compatti, Spark-X2.5-4B e Spark-X2.5-1.7B, si presentano con architettura non derivata da fine-tuning e un contesto nativo dichiarato di 1 milione di token. I benchmark citati sulla pagina Hugging Face indicano la versione da 4B vicina ...
La segnalazione su Reddit è scarna, ma il messaggio è chiaro: il supporto MTP per Qwen3.8-Flash-Next in formato GGUF promette di aumentare i token al secondo nelle esecuzioni con llama.cpp. Più che una singola ottimizzazione, è un segnale sulla direz...
Un test su Reddit usa GLM 5.3 e Flash in quantization Q4 su 4-6 RTX PRO 6000 WS per generare un attico in Blender via BlenderMCP. Flash completa la scena con un terzo dei token e tempi simili, mentre il modello full pensa 22 minuti prima di agire. Il...
Sostituire la proiezione densa sul vocabolario con una ricerca approssimata su indice HNSW accelera la decodifica autoregressiva su CPU. Nei test con Gemma 3, Llama 3.2 e Qwen 3, il throughput batch-one di Gemma 3 270M migliora fino all'82%, senza pe...
LLMFan46 ha pubblicato varianti GGUF di LongCat-Flash-Lite-Sparse, Qwen3.8-27B e Qwen3.5-122B-A10B, oltre a Qwen3-Coder-Next e Laguna-S2.1 con visione opzionale. La dipendenza da un fork personale di llama.cpp per sparse attention e contesto da 1 mil...
Il supporto a RadixArk/Qwen3.8-Flash-Next-NVFP4 in SGLang-V100 mostra quattro V100 32GB con contesto completo da 256k token e oltre 50GB di offload sulla RAM di sistema. Prefill intorno a 4.000 token/s, decoding intorno a 60 token/s. I dati MTP segna...
Un setup su Reddit mostra un modello dense da 27 miliardi di parametri a 47-50 token/s con contesto da 100.000 token su una RTX 4070 Ti SUPER da 16 GB. Il segnale non è il modello, ma il controllo fine del runtime: cache KV asimmetrica kvarn5/kvarn4,...
Un test di tre ore e mezzo su MacBook Pro M5 Max con 128 GB di memoria unificata esegue un modello Qwen3.8-Flash-Next da 78,9 GB in quantization 2 bit con slot da 358.400 token. Il prefill scende da 1.561 a 318 token/s; la generazione da 30–35 a 11,5...
Un setup documentato su Reddit porta un Qwen3.8-27B su una RTX 4070 Ti SUPER a 47-50 token/s con 100.000 token di contesto. Il merito è del runtime beellama.cpp e della cache KV asimmetrica kvarn5/kvarn4, che ha liberato circa il 6% di VRAM. La coda ...
llama.cpp ha integrato il supporto per Qwen3.8-Flash-Next e una segnalazione comunitaria mostra 55 token/s con GGUF Q4 su quattro RTX 3090. Un test informale che sposta l’attenzione dal software all’hardware: per l’inference locale il costo e la comp...
Un Mac Studio M4 Max con 128 GB di memoria unificata ha ospitato il test di Qwen3.8-Flash-Next, il primo modello dell'anno a superare il 94% sul benchmark personale di tolitius. Il modello da 27B eccelle nel coding ma perde in conoscenza generale con...
