L'esecuzione locale di modelli aperti più grandi sta imponendo una revisione di memoria GPU, RAM e quantization. Le voci su RTX 5090 con più VRAM e i test sui costi della KV cache evidenziano il nuovo collo di bottiglia hardware.
La seconda generazione di Inkling debutta con un MoE da 594 miliardi di parametri totali e 17 miliardi attivi, supporto alle immagini e rilascio dei pesi Apache 2.0 dopo test di sicurezza. Il modello migliora i punteggi sull'Artificial Analysis Intel...
La scadenza del 10 novembre per PyTorch Day China 2026 rivela un'agenda concentrata su training distribuito, inference efficiente, accelerazione hardware e AI fisica. L'analisi: le tracce scelte mostrano come il framework guardi sempre più ai vincoli...
Il repository ricursiveAI/Ripple-65B-Preview su Hugging Face è un annuncio scarno. Per chi valuta LLM on-premise, la classe 65B impone pianificazione della VRAM e quantization. Ma il vero segnale è il formato Preview: sposta il costo di validazione s...
La Call for Proposals del PyTorch Day China 2026 chiude il 10 novembre. L'evento di Pechino del 12 dicembre mette al centro cinque aree tematiche, con un'enfasi inedita su inference efficiente, accelerazione hardware e physical AI. Per chi valuta sta...
La voce su GeForce RTX 5090 con 64 e 96 GB di VRAM tocca il nodo critico per chi usa LLM in locale: la memoria video come collo di bottiglia. Un'analisi sulle implicazioni per self-hosted, quantization, TCO e sovranità dei dati, oltre il semplice ann...
Un tecnico riparatore statunitense avrebbe segnalato l'esistenza di RTX 5090 con 64 e 96 GB di VRAM. La notizia, da verificare, tocca il nodo centrale per l'inference locale: più memoria video significa modelli più grandi, quantization meno aggressiv...
Una preview da 9 miliardi di parametri su Hugging Face mette in luce come i fornitori usino le release anticipate per testare la domanda di LLM self-hosted. Senza benchmark né dettagli hardware, il valore sta nella possibilità di validare pipeline e ...
Un test su M4 Max con Qwen3.8 27B e contesto a 164k token mostra che cache e KV costano quanto i pesi. Il vecchio consiglio sui 64 GB va rivisto.
