Finestre di contesto più ampie e modelli locali più grandi rendono memoria video e RAM il vincolo critico per l'inference self-hosted. Le voci su RTX 5090 da 64/96 GB, i modelli Qwen 4 da un milione di token e i nuovi carichi agentici mostrano che 64 GB non bastano più.
La voce su GeForce RTX 5090 con 64 e 96 GB di VRAM tocca il nodo critico per chi usa LLM in locale: la memoria video come collo di bottiglia. Un'analisi sulle implicazioni per self-hosted, quantization, TCO e sovranità dei dati, oltre il semplice ann...
Un tecnico riparatore statunitense avrebbe segnalato l'esistenza di RTX 5090 con 64 e 96 GB di VRAM. La notizia, da verificare, tocca il nodo centrale per l'inference locale: più memoria video significa modelli più grandi, quantization meno aggressiv...
Un test su M4 Max con Qwen3.8 27B e contesto a 164k token mostra che cache e KV costano quanto i pesi. Il vecchio consiglio sui 64 GB va rivisto.
La pull request in qwen-code segnala che Qwen4 punta a una finestra da un milione di token. Per chi fa inference self-hosted il costo non è teorico: la cache chiave-valore cresce con i token e satura la VRAM insieme ai pesi. Qwen4-27B rende probabili...
Alibaba porta Qwen4 a un milione di token di contesto. La notizia emerge da una pull request in qwen-code: Qwen4-27B atteso domani all'evento Apsara nei Paesi Bassi, Qwen4-max datato 1° novembre con possibile placeholder al 1° ottobre. L'analisi si c...
