Il dibattito sull'inference locale si concentra su VRAM, quantization e benchmark riproducibili, perché 64 GB non bastano più per carichi agentici a contesto lungo.
Il repository ricursiveAI/Ripple-65B-Preview su Hugging Face è un annuncio scarno. Per chi valuta LLM on-premise, la classe 65B impone pianificazione della VRAM e quantization. Ma il vero segnale è il formato Preview: sposta il costo di validazione s...
La voce su GeForce RTX 5090 con 64 e 96 GB di VRAM tocca il nodo critico per chi usa LLM in locale: la memoria video come collo di bottiglia. Un'analisi sulle implicazioni per self-hosted, quantization, TCO e sovranità dei dati, oltre il semplice ann...
Un post su Reddit trasforma un fork di llama.cpp in una formula con parentesi quadre: quantization e hardware ultra specifici producono risultati incredibili ma impossibili da replicare. Il caso mostra il lato fragile dei benchmark locali e cosa sign...
Un tecnico riparatore statunitense avrebbe segnalato l'esistenza di RTX 5090 con 64 e 96 GB di VRAM. La notizia, da verificare, tocca il nodo centrale per l'inference locale: più memoria video significa modelli più grandi, quantization meno aggressiv...
Un utente di r/LocalLLaMA propone di smettere di inseguire i token/s e costruire benchmark privati sulla qualità, soprattutto tra livelli di quantization. L'idea: mantenere privati i dati di test e condividere solo grafici comparativi. È una reazione...
Un test su M4 Max con Qwen3.8 27B e contesto a 164k token mostra che cache e KV costano quanto i pesi. Il vecchio consiglio sui 64 GB va rivisto.
Un thread su Reddit mette in discussione le certezze della community self-hosted: ranking open-weight gonfiati, diffidenza verso Haiku 5.5, il frainteso progetto Strata e l'inutilità del benchmark ThreeJS. Per chi valuta deployment on-premise, il dis...
