Un utente della community LocalLLaMA su Reddit ha condiviso una scoperta interessante: SSD da 2TB acquistati a un prezzo notevolmente inferiore rispetto al normale presso un punto vendita Walmart.

Caccia all'affare

L'utente ha dichiarato di visitare regolarmente il Walmart locale alla ricerca di offerte simili, menzionando di aver precedentemente acquistato SSD da 2TB a 189 dollari l'uno. Questa volta, però, l'offerta era ancora più vantaggiosa, suggerendo che i rivenditori al dettaglio possono occasionalmente offrire componenti hardware a prezzi competitivi.

Implicazioni per l'inference on-premise

Sebbene la notizia non riguardi direttamente l'inference di LLM, evidenzia l'importanza di esplorare diverse opzioni per contenere i costi dell'hardware. Un'infrastruttura on-premise per LLM richiede storage ad alta velocità e capacità, e offerte come queste possono ridurre significativamente il TCO. Per chi valuta deployment on-premise, esistono trade-off da considerare, e AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.