Nuovi formati GGUF e DFlash2 offrono guadagni a due cifre in throughput e accuratezza, ma riaprono il dibattito sulla riproducibilità. I richiami della community a benchmark privati sulla qualità e le dispute sui budget di token mostrano il divario di valutazione.
Unsloth ha rilasciato i nuovi GGUF Unsloth Dynamic v3.1 per Qwen3.8-Flash-Next, con guadagni di accuratezza del 10-15% su benchmark agentici come DeepSWE e Terminal Bench. Include un processo di switching tra precisioni BF16, Q8_0, Q5_1 e IQ4_NL, con...
Un post su Reddit trasforma un fork di llama.cpp in una formula con parentesi quadre: quantization e hardware ultra specifici producono risultati incredibili ma impossibili da replicare. Il caso mostra il lato fragile dei benchmark locali e cosa sign...
ISTA DASLab ha rilasciato una build Coder di DeepSeek-V4.1-Flash-1017 con metà degli esperti instradati rimossa e pesi transformer compressi a 1 bit per parametro. Il GGUF occupa 72,1 GB di pesi transformer, contro 138,2 GB della build non potata, e ...
Un utente di r/LocalLLaMA propone di smettere di inseguire i token/s e costruire benchmark privati sulla qualità, soprattutto tra livelli di quantization. L'idea: mantenere privati i dati di test e condividere solo grafici comparativi. È una reazione...
Un thread su Reddit mette in discussione le certezze della community self-hosted: ranking open-weight gonfiati, diffidenza verso Haiku 5.5, il frainteso progetto Strata e l'inutilità del benchmark ThreeJS. Per chi valuta deployment on-premise, il dis...
Con llama.cpp v0.8.0 arriva la compatibilità con DFlash2 per Qwen3.8-Flash-Next. Su Apple Silicon M5 Max i test con GGUFs quantizzate mostrano un guadagno medio del 17% nel throughput di decodifica rispetto a MTP, con picchi del 39% sui prompt a list...
ISTA attribuisce la differenza nei benchmark al budget di 32K token imposto da Unsloth, contro i 128K di output del proprio setup. Il caso del modello da 763B con context window da 1M mostra perché il costo dell'inference, più dei parametri, decide i...
