Dalle indiscrezioni su RTX 5090 con più VRAM alla strategia data center-first di AMD, le scelte hardware stanno ridisegnando l'AI locale. Strumenti e workaround della community puntano a superare i limiti di VRAM e le restrizioni artificiali delle GPU.
Una pull request nel progetto llama.cpp introduce llama_moe_cache: una cache per gli esperti MoE eseguiti su CPU e uno script di tuning. L'obiettivo è accelerare l'offloading dei modelli MoE per chi ha poca VRAM, un'idea simile a meccanismi già visti...
La dichiarazione del CEO di AMD, che prioritizza le GPU per data center, segna un punto di svolta nel panorama hardware per l'AI. Questa analisi approfondisce le implicazioni per le organizzazioni che perseguono deployment di LLM on-premise, ridefine...
Il CEO di AMD ha definito l'azienda 'data center first', chiudendo di fatto l'era delle GPU consumer a basso costo come priorità strategica. Per chi pianifica inference LLM self-hosted, il segnale conta: l'offerta di silicio, packaging e VRAM si spos...
Il repository ricursiveAI/Ripple-65B-Preview su Hugging Face è un annuncio scarno. Per chi valuta LLM on-premise, la classe 65B impone pianificazione della VRAM e quantization. Ma il vero segnale è il formato Preview: sposta il costo di validazione s...
NVIDIA ha rilasciato CUDA 13.5 insieme al driver Linux 620.70.06. La novità centrale è il supporto in general availability per Vera Rubin, architettura GPU di NVIDIA. Per chi lavora su infrastrutture self-hosted e LLM, il toolchain diventa disponibil...
La voce su GeForce RTX 5090 con 64 e 96 GB di VRAM tocca il nodo critico per chi usa LLM in locale: la memoria video come collo di bottiglia. Un'analisi sulle implicazioni per self-hosted, quantization, TCO e sovranità dei dati, oltre il semplice ann...
Un tecnico riparatore statunitense avrebbe segnalato l'esistenza di RTX 5090 con 64 e 96 GB di VRAM. La notizia, da verificare, tocca il nodo centrale per l'inference locale: più memoria video significa modelli più grandi, quantization meno aggressiv...
Un tool open-source via USB rimuove il limite software che dimezza le prestazioni AI delle GPU Nvidia su Windows. La notizia riapre il dibattito sulla segmentazione artificiale dell'hardware consumer e sulle scelte di chi valuta deployment on-prem pe...
