Un utente del forum LocalLLaMA sta cercando consigli per scegliere la piattaforma migliore per l'inference di LLM in un ambiente di produzione.

Dettagli della richiesta

L'utente confronta un Mac Studio con chip M4 Max (128 GB di RAM) e un mini PC GMKtec EVO-X2 AI equipaggiato con un processore Ryzen AI Max+ 395 (anch'esso con 128 GB di RAM). Oltre alla velocità di inference, l'utente richiede la possibilità di eseguire occasionalmente piccoli lavori di fine-tuning.

Per chi valuta deployment on-premise, esistono trade-off tra performance, TCO e requisiti di compliance. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.