I costi alle stelle delle GPU di punta come la RTX 5090, spinti da wafer più cari e memorie costose, mettono in discussione la sostenibilità dell’AI on-premise; gli innovatori rispondono con inference su SSD, server focalizzati sulla memoria e ottimizzazioni di rete.
In Corea del Sud i prezzi della serie RTX 50 balzano del 30%. La scheda ammiraglia RTX 5090 sfonda i 5.100 dollari a causa dei rincari sui wafer TSMC e dei moduli GDDR7 da 20 dollari. Un campanello d’allarme per chi progetta infrastrutture inference ...
La startup israeliana Majestic Labs, fondata da ex ingegneri Google e Meta, ha presentato un server che dichiara di eguagliare un rack di GPU Nvidia aggredendo il collo di bottiglia della memoria. L’articolo esplora le implicazioni architetturali per...
Un nuovo orchestratore sfrutta le differenze di banda tra NVLink, InfiniBand e TCP, più la memoria condivisa CXL 3.0, per ridurre la latenza di trasferimento della cache KV fino a 18x. Un segnale strutturale per chi costruisce cluster on-premise.
Un utente mostra un sistema con 12 NVMe da 3,2 TB, 256 GB di RAM e CPU Threadripper per ospitare modelli enormi come l’ipotetico Le Chaton FAT. Una configurazione che riapre il dibattito sull’inference locale senza GPU di fascia alta, puntando tutto ...
Nvidia si prepara ad aumentare i prezzi delle sue GPU GeForce RTX fino al 30%. Questa mossa ha implicazioni significative per le strategie di deployment AI on-premise, aumentando il Total Cost of Ownership e spingendo le aziende a riconsiderare l'har...
