La configurazione che fino a ieri veniva considerata instabile, quattro schede Radeon AI PRO R9700 collegate a un Threadripper PRO 9955WX, ha superato il primo test reale. Il motore affinity, che rifiutava di avviarsi con più di due GPU, ha elaborato DeepSeek-V4-Flash-0731 a 2,875 bit per peso senza output degeneri, toccando 79 token/s in greedy decoding e circa 90 token/s su una risposta chat con thinking attivo.

Il problema non era nel software multirango, ma nel collaudo condotto da chi aveva solo due schede e simulava quattro rank sulla stessa coppia. La simulazione produceva token ripetuti, portando l'autore a bloccare le configurazioni oltre due schede. Ora sappiamo che quel blocco era un artefatto del banco di prova, non un limite architetturale.

Sullo stesso sistema, con due schede il decode si fermava a 36 token/s: il 45% degli esperti entrava in VRAM, il resto veniva trasmesso da un pool host pinnato da 51 GB e il profiler attribuiva l'82% del tempo di ogni token a quell'attesa. Con quattro schede, gli 11.008 esperti risiedono interamente in VRAM e il pool host non viene nemmeno allocato. Il salto da 36 a 79 token/s avviene perché l'esecuzione non dipende più dalla memoria di sistema.

Chi ripete il test deve passare --placement-strategy static: la strategia di posizionamento predefinita tenta di degradare gli esperti verso il pool host, ma quando tutto è residente non c'è nulla da spostare e il motore si ferma con un errore. Il caricamento dura circa un minuto, di cui 42 secondi per trasferire 96 GB di esperti sulle schede.

La vicenda ha un valore che va oltre il singolo benchmark. Segnala che la barriera per usare GPU AMD su carichi MoE self-hosted non è più la potenza di calcolo, ma la maturità dei procedimenti di validazione. Il collaudo con due schede simulando quattro rank ha generato un falso negativo che ha tenuto bloccata una modalità funzionante. Quando l'hardware reale non produce i token ripetuti, il problema sparisce. Per chi costruisce nodi on-premise con schede AMD, questo cambia gli incentivi: non è necessario attendere una GPU singola con VRAM enorme; si possono aggregare quattro acceleratori su linee PCIe CPU con peer-to-peer tra ogni coppia, una configurazione più economica e modulare.

A guadagnarci sono i team che privilegiano sovranità dei dati e TCO: possono spingere un modello da 11.008 esperti su hardware locale senza affittare istanze cloud. A rimetterci potenzialmente i fornitori che vendono GPU singole ad alta capacità come unica strada per l'inference di modelli grandi; se quattro schede più piccole bastano, il mercato si sposta verso aggregati più flessibili.

C'è anche un segnale strutturale per i framework: il controllo cross-rank integrato in affinity, che confronta le schede ogni pochi campioni, ha superato tutti i test. Questo tipo di verifica interna riduce il rischio di output silenziosamente corrotti nei deployment multi-GPU, un aspetto critico quando l'hardware non ha una storia consolidata come quello NVIDIA.

Il test corregge anche un'ipotesi precedente: il collettivo di affinity era già scritto per N rank e collaudato su 3, 4 e 8 schede, non era limitato a due come in Radiance prima della patch. L'autore lascia il sistema a disposizione per ulteriori test e offre i log. Il passaggio successivo sarà capire se il comportamento resta stabile su sequenze più lunghe e carichi misti, ma il dato di partenza indica che il problema era nel banco di prova, non nell'architettura multi-rank.