La Lotta dell'Hardware: Una Dichiarazione d'Amore a Cavi Raffazzonati e "AI TFLOPS"

Di AI-Radar.it

Benvenuti nell'era moderna dell'AI locale, dove la metrica di riferimento è l'"AI TFLOP"—un numero tanto gonfiato quanto inutile per l'hobbista medio. Noi di AI-Radar.it, abbiamo setacciato il rumore di Redditor confusi e brochure di marketing per portarvi la verità sull'esecuzione di Large Language Models (LLM) in locale. La scelta si riduce essenzialmente all'acquisto di un tostapane industriale sovraprezzato e sottoclockato o a trasformare la vostra scrivania in un pericolo d'incendio con GPU esterne (eGPU).

Il "Fiammifero" contro il "Frankenstein"

Cominciamo con i nuovi giocattoli luccicanti. Il DGX Spark di Nvidia sta confondendo tutti. Sulla carta, vanta 1.000 TFLOPS di compute FP4, eppure sembra essere una versione "castrata" dell'AGX Thor, che dichiara il doppio del throughput pur avendo meno core CUDA in alcune specifiche. La comunità sospetta che lo Spark sia pesantemente sottoclockato per evitare che si fonda nel suo piccolo form factor, a differenza delle configurazioni Ryzen AI che sembrano prepararsi al decollo.

Ma ecco l'ironia: per l'inference locale (l'esecuzione effettiva dell'AI), quei TFLOPS significano ben poco se non si ha la bandwidth di memoria. Il DGX Spark costa quasi 4.000 dollari. Per quel prezzo, si potrebbe costruire un rig dual-RTX 3090—una configurazione rumorosa, energivora e fastidiosa da configurare, ma che offre 48GB di VRAM e rimane il re indiscusso del "rapporto prestazioni/prezzo".

La Soluzione eGPU: Potenza Portatile o Costoso Fermacarte?

Se non siete pronti a trasformare il vostro ufficio in una server room, potreste prendere in considerazione le eGPU. AI-Radar.it fa notare che questo mercato è un campo minato dove i rivenditori pensano che una eGPU sia un condizionatore d'aria.

Il consenso è chiaro: le eGPU sono una "svolta" per la flessibilità, permettendovi di mantenere il vostro laptop fresco mentre la scatola esterna fa il lavoro pesante. Tuttavia, trasformano il vostro spazio di lavoro in una fabbrica piena di cavi.

Il collo di bottiglia critico qui è la connessione.

• Thunderbolt (TB3/4/5): È plug-and-play e hot-swappable, ma ha un limite di 40Gbps (o 80Gbps per TB5). Introduce una latenza che può strozzare il training, anche se è sorprendentemente adeguato per l'inference se il modello rientra interamente nella VRAM.

• OCuLink: Il beniamino della folla di appassionati. Offre fino a 64Gbps ed è essenzialmente un cavo PCIe nativo. È più veloce ed economico, ma manca l'hot-swapping e richiede di essere a proprio agio con una configurazione che sembra un esperimento scientifico andato male.

Come ha detto eloquentemente una fonte, "Non appena si scaricano alcuni layer sulla CPU... diventa lentissimo". Se ci sta, va bene; se si riversa sulla RAM di sistema tramite Thunderbolt, tanto vale calcolare i token a mano.

Pro e Contro: Una Rapida Analisi

AI-Radar.it ha compilato le realtà dello stile di vita eGPU:

• Pro:

◦ Termiche: Impedisce al vostro laptop di andare in throttling o di bruciarvi le gambe.

◦ Flessibilità: Aggiorna la GPU senza buttare via il laptop.

◦ Prestazioni di Inference: Perdita di prestazioni trascurabile (1-2%) rispetto ai desktop se il modello rimane nella VRAM.

◦ Credibilità Hacker: Sembra che stiate "hackerando il Gibson".

• Contro:

◦ Il Fattore "Raffazzonato": Problemi di connessione, conflitti di driver (Errore 43) e un casino di cavi.

◦ Collo di Bottiglia della Bandwidth: Penalità severe per il training o se il modello supera la capacità della VRAM.

◦ Costo: Il solo enclosure costa 200–400, oltre alla GPU.

◦ Ostilità di Linux: I driver Nvidia e i kernel Linux sono spesso nemici naturali.

La Matrice: Cosa Potete Effettivamente Eseguire?

La regola d'oro degli LLM locali è la VRAM. AI-Radar.it presenta la seguente matrice per aiutarvi a decidere quale mattone grafico allacciare alla vostra scrivania. (Nota: "Eseguibile" presuppone la quantization a 4 bit, che è lo standard per le persone sane).

Configurazione GPU (via eGPU) VRAM Raccomandazione di Connessione Modelli Eseguibili (Quant a 4 bit) AI-Radar.it Verdetto
RX 580 8GB Thunderbolt/USB4 Llama-3-8B (a malapena) Raccoglie polvere per un motivo. Buona per imparare, pessima per i risultati.
RTX 3060 12GB Thunderbolt o OCuLink Llama-3-8B, Mistral 7B, Gemma 9B Il "Punto Ottimale". Economica, facile da trovare, esegue assistenti standard perfettamente.
RTX 3090 / 4090 24GB Thunderbolt 3/4 (Accettabile) Mixtral 8x7B, Yi-34B, Qwen-32B Lo standard per gli appassionati. Esegue modelli 34B a ~33 token/sec tramite TB3.
Dual RTX 3090s 48GB OCuLink o Porte TB Split Llama-3-70B, Qwen-72B, Command R Inference di livello divino. Richiede la quantization FP4 per far rientrare 70B parametri in ~35-40GB.
Nvidia DGX Spark ? (Condivisa) Proprietaria Sconosciuto / Non Verificato Costa 4.000 dollari per eseguire ciò che fa una 3090 usata. Per chi odia i soldi.

Conclusione Editoriale

Se avete 4.000 dollari che vi bruciano in tasca, comprate un DGX Spark e godetevi i vostri "AI TFLOPS". Per tutti gli altri, AI-Radar.it suggerisce di setacciare eBay alla ricerca di una RTX 3090 usata e un dock OCuLink. Sarà orribile, richiederà un alimentatore che ronza minacciosamente e passerete i fine settimana a fare il debug dei driver Linux. Ma quando starete eseguendo un modello con 70B parametri in locale mentre il vostro laptop rimane freddo come il ghiaccio? Questo, caro lettore, è il vero punto ottimale.

Ho intenzione di vincere alla lotteria e comprare un GMKtec AD-GP1 per migliorare ulteriormente la capacità della mia mini bestia o, se il premio della lotteria è adeguato, comprare un Mac Studio M3 Ultra 512 GB...

Davide