I modelli Qwen e altri modelli open-weight cinesi stanno trainando il self-hosting locale, con utenti che documentano configurazioni senza API e tuning consapevole della quantization. I dati su download e deployment mostrano che questi modelli stanno diventando la scelta predefinita per molti carichi LLM locali.
Un consulente ha costruito ImaJev-4b, modello da 4 miliardi di parametri basato su Qwen3.5-4B con LoRA e un decision head. Dopo un primo tentativo peggiorativo, la cura dei dati ha portato il sistema al primo posto su JevBench tra 91 modelli e al ter...
Un test su 50 domande del benchmark MATH-500 mostra che penalizzare via logit-bias i token di esitazione migliora l'accuratezza di Qwen3.5-4B in formato GGUF su tutti i livelli di quantization testati. In BF16 si passa dal 74% all'84%, mentre Q2_K ra...
Un utente ha usato Qwen 27B su una RTX 4090 per produrre motion graphics ispirate ai recenti post con Opus 5.5. Il progetto, costruito con il framework Accuretta, mostra che la generazione creativa locale comincia a coprire casi d'uso finora riservat...
Un utente racconta come un modello Qwen 3.8 Flash Next su due RTX 3090 abbia superato GPT-5.6 Luna in un progetto reale, dopo essere stato collegato a Codex CLI. Il risultato riapre il dibattito su quale strato conti davvero nel deployment locale: no...
Un confronto su llama.cpp con quantization Q8_0 mostra che i due fine-tuning riducono i token di completamento di circa il 40% rispetto a Qwen3.8-27B. I pass rate restano simili, ma Swift ha una riduzione più uniforme, mentre ThinkingCap paga una cod...
Una RTX 5070 da 12 GB esegue Qwen3.8-Flash-Next a 65,1 token/s con un motore di inference dedicato. Il progetto Strata mostra come un runtime specializzato possa battere llama.cpp sulla stessa precisione numerica, portando l'elaborazione del prompt a...
Un utente documenta l'uso locale di Qwen-3.8-27B su Raspberry Pi con quantization Q4_K_S e contesto Q8_0. Costi di 2,4 centesimi per 1M token in input e 70 centesimi per 1M in output, paragonabili ai provider più economici. L'esperienza evidenzia pot...
La testimonianza scritta di Nathan Lambert al Congresso fotografa un sorpasso strutturale: da agosto 2025, i modelli open-weight cinesi contano 3,2 miliardi di download su Hugging Face contro 1,6 miliardi americani. Su OpenRouter il traffico aperto è...
