Modelli open-weight come Qwen 3.8 27B e DeepSeek V4 Flash vengono sempre più eseguiti su GPU consumer e prosumer, grazie a versioni GGUF quantizzate, supporto llama.cpp, merge della community e vantaggi di TCO rispetto alle API chiuse.
In meno di un mese Qwen3.8-27B ha raccolto più like dei quattro modelli successivi insieme, superando QwQ-32B. La community HuggingFace premia LLM general-purpose intorno ai 27 e 9 miliardi di parametri, dimensioni compatibili con self-hosting e GPU ...
Un Epyc 7663, 256 GB di RAM ECC e una RTX 5090 portano un LLM MoE da 151 GB a 24 token/s in quantization Q8_K_XL. Il caso ribalta l'assunto che serva VRAM aggregata pari ai pesi: il bilanciamento tra CPU, banda di memoria e PCIe diventa il vero vinco...
Un utente ha testato DeepSeek V4 Flash in self-hosted con un Epyc 7663, 256 GB di RAM ECC e una RTX 5090 da 32 GB. Con quantization Q8_K_XL e contesti da 100-128k token, ottiene 23,8-24,6 token/s. Il dato mostra come un LLM da circa 151 GB di pesi po...
Un utente di Reddit racconta come i suggerimenti della community abbiano trasformato un setup frustrante in un LLM locale funzionante con Home Assistant e input visivi. La barriera del self-hosted non è l'hardware ma la configurazione, e la community...
Un team ha creato quantizzazioni GGUF di Qwen 3.8 27B e le ha confrontate su una RTX PRO 6000 con un compito di costruzione di isole voxel. Il Q4_K_M occupa 17,1 GB e decodifica a 67 token/s, con un accordo top-1 del 95,6% rispetto a BF16. Le differe...
Un test one-shot chiede a qwen3.8:27b in FP8 su vLLM e RTX 6000 Pro 96GB di convertire 2,1 MB di C in HTML/three.js. Con contesto da 262.144 token, il file non entra nella finestra e l'agente deve navigarlo. Opus 5 cloud chiude in 21 minuti con outpu...
Un acquirente ha trovato una RTX 5080 a 702 dollari in un Walmart, risparmiando quasi 800 dollari sui prezzi al dettaglio correnti. Più che un colpo di fortuna, l'episodio mostra il divario tra prezzo ufficiale e costo reale delle GPU consumer, con e...
Un utente con M1 Max non ne può più: Qwen 3.8 27B in modalità xhigh impiega una notte per un singolo task. Chiede una variante 35B A3B, meno brillante ma più veloce. La richiesta mette a nudo il conflitto tra long-thinking e hardware consumer nel sel...
Il silenzio dei vendor chiusi dopo Qwen 3.8 27B segnala un cambio di pressione competitiva: la retorica della sicurezza si affievolisce quando un LLM da 27B può girare in locale con 16 GB di VRAM. La barriera hardware scende, il TCO si sposta dal cos...
Un post di settore nota il silenzio dei vendor di modelli chiusi dopo l'arrivo di Qwen 3.8 27B. Prima, con GLM 5.2 e Kimi K3, la narrazione sulla pericolosità dell'open source serviva a difendere il valore dei modelli a pagamento. Ora un LLM da 27 mi...
La nuova release di llama.cpp, con sorgenti e build precompilate, segna una tappa per l'inference self-hosted. Meno attrito per sviluppatori e aziende che vogliono eseguire LLM in locale, più pressione sui servizi cloud-only.
Un report non verificato descrive una sessione di quasi venti ore di coding agentico con Qwen3.8-27B Q6 su RTX 3090 e RTX 3060, a 60–63 token/s. Il dato, se replicato, sposta il confine tra cloud e self-hosted. Analizziamo trade-off, TCO e sovranità ...
Un report riferisce una sessione di quasi venti ore di coding agentico con Qwen3.8-27B Q6 su una RTX 3090 e una RTX 3060, a 60–63 token/s. Il caso mostra come un LLM di fascia media con quantization Q6 possa sostenere carichi prolungati on-prem su ha...
Un test su RTX 4060 Ti da 16 GB mostra Qwen 3.8 27B a 30-35 token/s con quantization Q3_xxs, buona tenuta su coding e logica, ma fragilità conversazionali. Emerge un cambio di prospettiva per chi self-hosta LLM su GPU consumer.
Su una RTX 5090 da 32 GB, un nuovo GGUF NVFP4 per Qwen3.8 27B raggiunge 6.250 token/s nel prefill con prompt da 2048 token, il 50% in più di un Q4_0 con uguale ingombro di memoria e il 4-7% in più di altri NVFP4. Include una testa MTP quantizzata e i...
Un esperimento nato su Reddit fonde Qwen3.8 e Qwen3.6 in un file GGUF. Supera solo uno smoke test, ma mostra come la modularità dei LLM self-hosted stia cambiando incentivi, governance e costi di validazione.
La scadenza dell'abbonamento Pro a Claude Code ha spinto un utente a passare a un LLM locale Qwen3.8-27b su GPU 5090M con 24GB di VRAM e a Pi. Il test su un'app per previsioni aurorali ha mostrato tempi simili, UI migliore per Pi ma scienza migliore ...
AntLing ha pubblicato sei checkpoint per Ling-3.0: due taglie e tre stadi ciascuna, tutti con licenza MIT e senza post-training. Materiale per continued pretraining, fine-tuning e ricerca, non un modello chat pronto. La mappa degli stadi è contesto, ...
Un esperimento di merge tra Qwen3.8-27B e Qwen3.6-27B, condotto partendo da un file GGUF con quantization Q6_K_XL, ha prodotto QwenMix-3.7. L'autore segnala la compatibilità strutturale tra i due modelli, differenziati nell'addestramento da soli sett...
Un costruttore ha validato una configurazione self-hosted con 16 RTX 5060 Ti da 16 GB, due switch Broadcom/PLX PEX88096 e una Xeon Gold 6330. Il sistema serve DeepSeek V4 Flash-0731 con contesto fino a 1 milione di token e, in una configurazione, gen...
Test empirici e benchmark offline indicano che Qwen3.8-27B risponde peggio di Qwen3.6 alle domande di conoscenza fattuale senza tool esterni. Per chi usa modelli air-gapped basati solo sui pesi, il degrado è rilevante.
Unsloth ha pubblicato nuovi file GGUF per Qwen3.8-27B basati su Dynamic v3.0. La promessa è un miglioramento dell'accuratezza di oltre il 10% a parità di dimensione, con quantizzazioni a 1 bit che mantengono il 77% di accuratezza e girano in 8GB di R...
Sono comparsi su Hugging Face tre nuovi modelli Ornith 1.5: 9B, 35B-A3B e 397B, tutti con versioni GGUF. La disponibilità immediata del formato quantizzato segnala un'attenzione diretta al deployment locale e self-hosted, spingendo a riflettere sui t...
Un test bare-metal con due RTX 3090, vLLM e decodifica speculativa DFlash2 porta Qwen3.8-27B a 218 token/s su singola richiesta, con prefill fino a 1342 token/s e contesto massimo di 131k. Il setup usa quantization INT4 AutoRound, 22,3 GB di VRAM per...
La seconda versione di DFlash non arriva con un annuncio ma con la PR 27342 su llama.cpp e i quantizzati GGUF già pronti per Qwen 3.8 27B e Muse Glimmer. AI-Radar analizza il cambio di baricentro: il vero collo di bottiglia dell'on-premise non è il m...
Gli autori originali dei quantizzati GGUF di DFlash hanno pubblicato una seconda versione insieme a una pull request per llama.cpp. Il pacchetto copre Qwen 3.8 27B e Muse Glimmer, segnalando un'integrazione stretta tra ottimizzazioni di modello e run...
La recente pubblicazione dei pesi aperti del modello Qwen 2.4T Max, pur richiedendo risorse hardware estreme come cluster B200, segna un passo cruciale per la comunità AI locale. Sebbene il deployment on-premise sia complesso per la versione più gran...
La piattaforma Hugging Face ha superato i tre milioni di modelli pubblicati sull'Hub. Il numero include versioni quantizzate, fine-tuning e conversioni, più che modelli base distinti. Per chi gestisce stack locali, il traguardo sposta il collo di bot...
Un carico agentico di oltre otto ore su una singola RTX PRO 6000, con DeepSeek Harness e NInfer, ha gestito 966 chiamate modello, 131,2 milioni di token in input e 853,3 mila in output con zero errori di generazione. Il confronto con i listini API st...
L’aggiornamento di Hydra introduce controlli su VRAM e limiti di potenza per le GPU RTX 50, con offset di memoria fino a +3000 MHz. Per chi esegue LLM in locale, la banda di memoria è spesso il collo di bottiglia: un controllo più fine promette margi...
