Un'ondata di ottimizzazioni in llama.cpp, quantization GGUF, cache KV, cache degli esperti e piccoli modelli MoE sta rendendo possibile l'inference locale quasi da frontiera su hardware consumer e prosumer.
Un post tecnico mostra come Qwen3.8 27b in quantization Q4_K_XL giri su una RTX 3090 con 24GB di VRAM e contesto da 100k token. L'autore sostiene che i piccoli LLM self-hosted, capaci di svolgere l'80-90% del lavoro ripetitivo, minano i ricavi dei ve...
La pull request #28127 per integrare Hy4-preview in llama.cpp non porta benchmark, ma segnala la convergenza dell'ecosistema self-hosted. Anche i vendor cloud mostrano attenzione alle pipeline on-premise. Restano da verificare stabilità, licenze e do...
Un benchmark su 21 varianti quantizzate di Qwen3.8 27B con una RTX 5080 da 16 GB mostra quanto conti la scelta del formato GGUF. La variante IQ4_XS di bartowski ottiene la divergenza media più bassa e il miglior accordo sul token più probabile, mentr...
Un esperimento porta un modello conversazionale da 90M su una console Sony del 2004. L'inference viaggia a circa 0,5-0,6 token al secondo, con risposte in 1-3 minuti. Più una provocazione tecnica che uno strumento utile, ma dice molto sui vincoli rea...
La pull request #28127 aggiunge il supporto all'architettura preview di Tencent Hy4 in llama.cpp. Un segnale concreto per chi valuta stack on-premise e sovranità dei dati, senza benchmark ufficiali.
Un costruttore ha investito 18.000 euro in un server EPYC con 768 GB di VRAM e 256 GB di RAM per eseguire LLM open source di frontiera in locale. Ma i prossimi modelli, a partire da GLM 6, potrebbero essere due o tre volte più grandi, rendendo inutil...
Un utente ha costruito un FPS multiplayer con Qwen 3.8 Flash Next in locale, usando opencode e GPU NVIDIA (RTX 5090 e RTX 4000 PRO). Demo giocabile in due ore, tre giorni di rifiniture, 20 token/s medi con MTP, contesto 256k e quantization Q4_K_XL. L...
IFM ha pubblicato il checkpoint finale del modello sparse Mixture-of-Experts K2-Horizon-MoVA-36B-A4B, con 36 miliardi di parametri totali e 4 miliardi attivi per token. Distribuito in GGUF, compete su task agentici e di reasoning con modelli chiusi d...
Una modifica sperimentale a llama.cpp aggiorna in-memory la tabella Ngram PLE dei modelli Qwen, inserendo conoscenza senza ricaricare il modello. Il progetto, testato soltanto con quantization q8, richiede memory mapping e soffre di scarso controllo ...
Il progetto Arcon usa Qwen3-4B con LoRA per costruire un assistente locale con memoria persistente, stato interno e strumenti. Più che un chatbot, è un banco di prova per capire fino a che punto un modello compatto possa reggere un'interazione da ass...
Il caso Qwen3.8-Flash-Next su due RTX 3090 mostra che nei modelli MoE la VRAM non è più l'unica variabile: la gerarchia di memoria e la cache degli esperti spostano il decode da 17 a 29 token/s. Un segnale concreto per chi valuta deployment on-premis...
Un intervento su Reddit riporta un passaggio da 15 ore di programmazione attiva a 4 ore per debuggare o implementare una feature con Qwen 27B, anche a 0,5 token al secondo. Il dato ridisegna le aspettative per l'inference asincrona e il calcolo del v...
Per gli LLM locali, il numero di parametri non è l'unico vincolo: la KV cache cresce con ogni token e può diventare il vero collo di bottiglia a contesti da 100k o 200k token. GQA, MQA e quantization riducono l'ingombro, ma il problema resta lineare....
Un utente documenta un balzo del decode da 17 a 25-29 token/s su due RTX 3090, con contesto pieno da 261.888 token, usando la cache LRU degli esperti di llama.cpp e riducendo l'ubatch. La configurazione mantiene i 48 layer di esperti in RAM di sistem...
Perplexity ha reso open source il repository lily in pplx-garden, un inference server per Mac costruito attorno a un solo modello, Qwen 3.6, per ottenere il massimo su Apple Silicon. Non è serving generico: la verticalizzazione su un singolo modello ...
Lemonade 11.9, server AI locale open source sostenuto da AMD, debutta su Linux, Windows e macOS con un backend sperimentale ROCm HRX per Llama.cpp. Il progetto conferma la linea «100% gratuito e privato» su GPU, CPU e NPU. Il dettaglio tecnico più ri...
Un nuovo metodo di post-training quantization, REAL-Q, usa la discesa del gradiente a blocchi per ridurre fino a circa il 49% la divergenza KL end-to-end rispetto ai metodi di secondo ordine su LLaMA-3.1 e Qwen3 a W4A16. Un risultato che tocca i depl...
Due nuovi LLM compatti, Spark-X2.5-4B e Spark-X2.5-1.7B, si presentano con architettura non derivata da fine-tuning e un contesto nativo dichiarato di 1 milione di token. I benchmark citati sulla pagina Hugging Face indicano la versione da 4B vicina ...
La segnalazione su Reddit è scarna, ma il messaggio è chiaro: il supporto MTP per Qwen3.8-Flash-Next in formato GGUF promette di aumentare i token al secondo nelle esecuzioni con llama.cpp. Più che una singola ottimizzazione, è un segnale sulla direz...
Un test su Reddit usa GLM 5.3 e Flash in quantization Q4 su 4-6 RTX PRO 6000 WS per generare un attico in Blender via BlenderMCP. Flash completa la scena con un terzo dei token e tempi simili, mentre il modello full pensa 22 minuti prima di agire. Il...
Sostituire la proiezione densa sul vocabolario con una ricerca approssimata su indice HNSW accelera la decodifica autoregressiva su CPU. Nei test con Gemma 3, Llama 3.2 e Qwen 3, il throughput batch-one di Gemma 3 270M migliora fino all'82%, senza pe...
LLMFan46 ha pubblicato varianti GGUF di LongCat-Flash-Lite-Sparse, Qwen3.8-27B e Qwen3.5-122B-A10B, oltre a Qwen3-Coder-Next e Laguna-S2.1 con visione opzionale. La dipendenza da un fork personale di llama.cpp per sparse attention e contesto da 1 mil...
Il supporto a RadixArk/Qwen3.8-Flash-Next-NVFP4 in SGLang-V100 mostra quattro V100 32GB con contesto completo da 256k token e oltre 50GB di offload sulla RAM di sistema. Prefill intorno a 4.000 token/s, decoding intorno a 60 token/s. I dati MTP segna...
Un test di tre ore e mezzo su MacBook Pro M5 Max con 128 GB di memoria unificata esegue un modello Qwen3.8-Flash-Next da 78,9 GB in quantization 2 bit con slot da 358.400 token. Il prefill scende da 1.561 a 318 token/s; la generazione da 30–35 a 11,5...
Un setup documentato su Reddit porta un Qwen3.8-27B su una RTX 4070 Ti SUPER a 47-50 token/s con 100.000 token di contesto. Il merito è del runtime beellama.cpp e della cache KV asimmetrica kvarn5/kvarn4, che ha liberato circa il 6% di VRAM. La coda ...
