L'aumento dei costi dei wafer e delle memorie sta portando i prezzi delle GPU a livelli record, mentre i colli di bottiglia della memoria mettono in discussione i deployment tradizionali. Come risposta, emergono innovazioni nell'inference su SSD, nel raffreddamento e in nuove architetture.
L’aumento dei costi dei wafer TSMC e delle memorie HBM si ripercuote sul listino delle nuove GPU consumer Nvidia. Uno scenario che non riguarda solo il gaming: chi fa inference on-premise deve ripensare i conti del TCO e spingere su quantization e ot...
In Corea del Sud i prezzi della serie RTX 50 balzano del 30%. La scheda ammiraglia RTX 5090 sfonda i 5.100 dollari a causa dei rincari sui wafer TSMC e dei moduli GDDR7 da 20 dollari. Un campanello d’allarme per chi progetta infrastrutture inference ...
La startup israeliana Majestic Labs, fondata da ex ingegneri Google e Meta, ha presentato un server che dichiara di eguagliare un rack di GPU Nvidia aggredendo il collo di bottiglia della memoria. L’articolo esplora le implicazioni architetturali per...
Un utente mostra un sistema con 12 NVMe da 3,2 TB, 256 GB di RAM e CPU Threadripper per ospitare modelli enormi come l’ipotetico Le Chaton FAT. Una configurazione che riapre il dibattito sull’inference locale senza GPU di fascia alta, puntando tutto ...
