Pesi a 1 bit, GGUF dinamici, quantization della KV cache e multi-token prediction aumentano l'efficienza dell'inference locale. Nuove proposte di benchmark privilegiano la riproducibilità rispetto ai soli token al secondo.
Un benchmark su 35 quantizzazioni con llama.cpp, ExLlamaV3 e vLLM misura la divergenza KL introdotta dalla KV cache quantizzata. A 8 bit il calo di memoria è di circa 1,9-2 GiB a 64k token e l'effetto sulla distribuzione dei token è quasi nullo. Il 4...
Una segnalazione aneddotica su un modello Q4 eseguito con llama.cpp su RTX 4090 riapre il problema della riproducibilità nei deployment self-hosted: senza hash e versioni bloccate, il controllo locale resta incompleto.
La scadenza del 10 novembre per PyTorch Day China 2026 rivela un'agenda concentrata su training distribuito, inference efficiente, accelerazione hardware e AI fisica. L'analisi: le tracce scelte mostrano come il framework guardi sempre più ai vincoli...
La Call for Proposals del PyTorch Day China 2026 chiude il 10 novembre. L'evento di Pechino del 12 dicembre mette al centro cinque aree tematiche, con un'enfasi inedita su inference efficiente, accelerazione hardware e physical AI. Per chi valuta sta...
Unsloth ha rilasciato i nuovi GGUF Unsloth Dynamic v3.1 per Qwen3.8-Flash-Next, con guadagni di accuratezza del 10-15% su benchmark agentici come DeepSWE e Terminal Bench. Include un processo di switching tra precisioni BF16, Q8_0, Q5_1 e IQ4_NL, con...
Un post su Reddit trasforma un fork di llama.cpp in una formula con parentesi quadre: quantization e hardware ultra specifici producono risultati incredibili ma impossibili da replicare. Il caso mostra il lato fragile dei benchmark locali e cosa sign...
ISTA DASLab ha rilasciato una build Coder di DeepSeek-V4.1-Flash-1017 con metà degli esperti instradati rimossa e pesi transformer compressi a 1 bit per parametro. Il GGUF occupa 72,1 GB di pesi transformer, contro 138,2 GB della build non potata, e ...
Un utente di r/LocalLLaMA propone di smettere di inseguire i token/s e costruire benchmark privati sulla qualità, soprattutto tra livelli di quantization. L'idea: mantenere privati i dati di test e condividere solo grafici comparativi. È una reazione...
Il repository Hugging Face JetBrains/Mellum2.1-12B-A2.5B-Thinking-MTP introduce una testa multi-token prediction integrata che accelera il decoding di 1,4–1,8x accettando circa il 90% dei token proposti. vLLM 0.33, transformers 5.20 e llama.cpp la su...
