La community LocalLLaMA discute di ranking open-weight gonfiati e risultati llama.cpp non riproducibili, spingendo verso benchmark privati di qualità invece dei semplici token/s. Le divergenze sui budget di token nelle valutazioni DeepSeek mostrano quanto le condizioni di benchmark determinino le prestazioni percepite.
Un post su Reddit trasforma un fork di llama.cpp in una formula con parentesi quadre: quantization e hardware ultra specifici producono risultati incredibili ma impossibili da replicare. Il caso mostra il lato fragile dei benchmark locali e cosa sign...
Un utente di r/LocalLLaMA propone di smettere di inseguire i token/s e costruire benchmark privati sulla qualità, soprattutto tra livelli di quantization. L'idea: mantenere privati i dati di test e condividere solo grafici comparativi. È una reazione...
Un thread su Reddit mette in discussione le certezze della community self-hosted: ranking open-weight gonfiati, diffidenza verso Haiku 5.5, il frainteso progetto Strata e l'inutilità del benchmark ThreeJS. Per chi valuta deployment on-premise, il dis...
ISTA attribuisce la differenza nei benchmark al budget di 32K token imposto da Unsloth, contro i 128K di output del proprio setup. Il caso del modello da 763B con context window da 1M mostra perché il costo dell'inference, più dei parametri, decide i...
