Un post su Reddit mostra un rack decisamente diverso da quelli visti nei data center cloud. Niente GPU da decine di migliaia di euro, ma dodici unità NVMe Gen 4 da 3,2 TB, 256 gigabyte di RAM DDR4 e un processore Threadripper PRO 3945WX a 12 core. L’obbiettivo dichiarato, con un’ironia che non nasconde una tesi seria, è tenersi pronto per un Le Chaton FAT da 26 trilioni di parametri, un modello che per ora è poco più di una voce, ma che incarna la direzione verso cui il settore sta guardando: architetture a mistura di esperti (MoE) con un numero totale di parametri enorme, ma solo una frazione attiva a ogni passo di inference.

L’autore del post, che usa la macchina principalmente per archiviare modelli e dataset, parla di 60 GB/s di banda aggregata sullo storage e di una configurazione RAIDZ2 con snapshot ZFS. Non c’è alcun carico computazionale pesante in corso, ma il sottotesto è chiaro: se un modello da 26 trilioni può essere servito caricando i pesi degli esperti dai dischi man mano che servono (un approccio simile a FlexGen o a tecniche di offloading della cache KV su NVMe), allora la barriera d’ingresso per l’inference locale si sposta dalle GPU agli SSD ad alta velocità.

La vera notizia, qui, non è tanto lo scherzo su Le Chaton FAT, quanto la serietà con cui alcuni professionisti stanno preparando infrastrutture per scenari che fino a ieri sembravano dominio esclusivo di cluster cloud con centinaia di A100 o H100. Questa configurazione segnala un cambiamento strutturale: con MoE sufficientemente sbilanciati (pochi esperti attivi per token), il collo di bottiglia non è più il calcolo in virgola mobile, ma la capacità di spostare grandi moli di dati dalla memoria persistente alla RAM in tempi accettabili. E 60 GB/s, per un batch ridotto, possono diventare più rilevanti di qualche TFLOP in più.

Chi ci guadagna? Innanzitutto i team che devono mantenere la sovranità dei dati e non possono usarli in cloud, ma finora erano frenati dal costo proibitivo dell’hardware GPU on-premise. Con un approccio storage-first, il TCO si ribalta: un array di NVMe, un buon controller e una CPU moderna diventano l’asset primario, mentre le GPU, se servono, possono essere di fascia più bassa o assenti. Perdono invece i produttori di GPU, abituati a vendere ogni nuova generazione come indispensabile per l’inference dei modelli più grandi, e forse anche i provider cloud che su quella scarsità costruiscono i loro margini.

Certo, il compromesso è la latenza. Un sistema del genere non può certo competere con un H100 nel generare risposte in tempo reale, ma può gestire batch processing, analisi di documenti, sintesi di report in modalità asincrona, tipici di chi sposta il carico su Kubernetes on-premise senza guardare al millisecondo. E in un’epoca in cui le aziende cercano di sfuggire alla dipendenza da un singolo vendor, questa direzione — unita a tecniche di quantization aggressiva — apre una via autarchica da non sottovalutare.

Il post, per quanto scherzoso, è un termometro di una comunità che non si accontenta più di affittare token su API esterne. La domanda “sei pronto?” non riguarda solo l’hardware, ma la capacità di ripensare l’intera pipeline, dai modelli al ferro. E oggi il ferro, a sorpresa, somiglia più a un server di storage che a un nodo di supercalcolo.