I rilasci di Qwen3.8 27B e Qwen 2.4T Max stanno accelerando l'adozione locale e self-hosted, con formati quantizzati e decodifica speculativa disponibili immediatamente. L'abbondanza di modelli su Hugging Face sposta inoltre l'attenzione su curation e prontezza al deployment.
Un test bare-metal con due RTX 3090, vLLM e decodifica speculativa DFlash2 porta Qwen3.8-27B a 218 token/s su singola richiesta, con prefill fino a 1342 token/s e contesto massimo di 131k. Il setup usa quantization INT4 AutoRound, 22,3 GB di VRAM per...
La recente pubblicazione dei pesi aperti del modello Qwen 2.4T Max, pur richiedendo risorse hardware estreme come cluster B200, segna un passo cruciale per la comunità AI locale. Sebbene il deployment on-premise sia complesso per la versione più gran...
La piattaforma Hugging Face ha superato i tre milioni di modelli pubblicati sull'Hub. Il numero include versioni quantizzate, fine-tuning e conversioni, più che modelli base distinti. Per chi gestisce stack locali, il traguardo sposta il collo di bot...
Un carico agentico di oltre otto ore su una singola RTX PRO 6000, con DeepSeek Harness e NInfer, ha gestito 966 chiamate modello, 131,2 milioni di token in input e 853,3 mila in output con zero errori di generazione. Il confronto con i listini API st...
Un confronto amatoriale tra Qwen3.6-27B e Qwen3.8-27B su un ray tracer in BASIC mostra una differenza decisiva: la capacità di osservare il rendering e correggere il codice in autonomia. Con quantization spinta e hardware locale, il ciclo chiuso ridu...
Un appassionato ha confrontato due LLM da 27 miliardi di parametri con quantization unsloth UD-Q8_K_XL in un harness agentico: scrivere un ray tracer ricorsivo in BASIC, eseguirlo, guardare l'immagine e iterare. Qwen3.6 richiedeva interventi umani qu...
Un modello locale su Framework Desktop con quantization Q8 GGUF genera al primo tentativo un clone di Super Mario. Non è veloce, ma abbastanza intelligente per batch notturni e lavori in background. Il caso solleva questioni concrete su velocità, acc...
Un commit nel framework ms-swift espone la stringa Qwen 3.8 35BA3B, senza annunci né specifiche. Il nome suggerisce un modello da 35 miliardi di parametri con architettura a esperti, ma la fonte non conferma nulla. Analizziamo cosa significa per chi ...
La community ha raccolto in un megathread i link ufficiali e le varianti quantizzate del nuovo Qwen 3.8 27B. GGUF, MLX e FP8 già disponibili: un segnale sulla maturità del self-hosted.
La comparsa del repository deepseek-ai/DeepSeek-V4-Pro-0813 su Hugging Face riporta l'attenzione sulla distribuzione dei LLM. Senza schede tecniche, però, un identificativo non orienta le decisioni on-premise: servono VRAM, quantization, pipeline di ...
La pagina di Hugging Face mostra un conto alla rovescia per Qwen/Qwen3.8-27B, suggerendo una fase di pre-rilascio. Il gesto segnala una strategia di distribuzione comunitaria e offre ai team on-premise una finestra per valutare vincoli di VRAM, quant...
