Un utente ha messo alla prova un Mac Studio con Apple Silicon M5 Ultra, 256 GB di RAM e GPU a 80 core, eseguendo più sessioni di inference agentica con il modello GLM-5.3-Flash. Il giudizio, riportato in un thread corredato da risultati su DwarfStar Speeds, è a metà strada tra soddisfazione e un dubbio di fondo: la memoria c'è, ma la potenza della GPU non sembra all'altezza.

La questione non è banale. Negli ultimi anni, i Mac con silicio Apple sono diventati una presenza ricorrente nelle discussioni sull'AI locale proprio per la loro architettura a memoria unificata, che permette di caricare modelli di grandi dimensioni senza ricorrere a più GPU. Avere 256 GB di RAM su una singola macchina da scrivania consente di ospitare LLM che su workstation tradizionali richiederebbero configurazioni multi-GPU ben più costose e complesse. Il problema, però, emerge quando si guarda alla velocità con cui quei modelli generano token.

L'esperienza dell'utente è indicativa: dopo molti round di inference agentica — un carico che moltiplica le chiamate al modello per ogni singola attività e che quindi amplifica ogni collo di bottiglia — la sensazione è che la GPU del M5 Ultra fatichi a tenere il passo con una dotazione di memoria così ampia. Non vengono forniti numeri di token al secondo o latenza, ma il messaggio è chiaro: per un uso interattivo o agentico, la capacità di memoria da sola non garantisce un'esperienza fluida.

La domanda che l'utente si pone — se abbia senso un'unità da 512 GB per l'AI inference — merita un'analisi più ampia. Da un lato, più RAM permette di caricare modelli più grandi o di tenere più modelli in memoria contemporaneamente, riducendo la necessità di scaricare e ricaricare pesi. Dall'altro, se il collo di bottiglia è la GPU, aggiungere memoria non migliora il throughput: si ottiene una macchina in grado di ospitare modelli enormi ma incapace di servire un singolo utente con la reattività richiesta da un loop agentico. In scenari batch o di serving concorrente, il framework potrebbe cambiare, perché la capacità di memoria aiuta a gestire più richieste in parallelo; ma per l'inference interattiva su una workstation, il rapporto tra compute e memoria diventa il parametro critico.

Questo caso segnala un rischio strutturale per chi valuta hardware on-premise basato su Apple Silicon: le specifiche di RAM, molto visibili, possono oscurare la reale potenza di calcolo della GPU. È una dinamica che sposta l'attenzione dal semplice "quanti GB ho" a metriche come la banda di memoria e il numero di core GPU, che determinano la velocità effettiva di generazione. Per i fornitori, l'incentivo a pubblicizzare configurazioni con RAM elevata è forte; per gli acquirenti, il rischio è di pagare per capacità che non si traduce in prestazioni reali nei carichi di lavoro previsti.

Non è una condanna della piattaforma: l'utente stesso si dichiara soddisfatto delle prestazioni generali e contento di avere tanta RAM a disposizione. Il punto è che, man mano che l'AI locale passa dai test sporadici ai carichi agentici continui, il bilanciamento tra memoria e compute diventa il vero discrimine. Per chi valuta hardware on-premise per carichi LLM, AI-RADAR offre framework analitici su /llm-onpremise per soppesare memoria, compute e TCO senza fermarsi alle specifiche di marketing. E una domanda resta aperta: se anche 256 GB appaiono sovradimensionati rispetto alla GPU, chi dovrebbe davvero puntare su una configurazione da 512 GB?