Un glitch che trasforma una scheda da mining in un oggetto da inference

La documentazione di Kate non descrive un semplice overclock. Descrive un intervento di hardware hacking che parte da una CMP 170HX, una scheda pensata per il mining, e arriva a un dispositivo con 80 GB di HBM utilizzabili, NVLink e PCIe Gen4 riattivati, oltre a un numero di streaming multiprocessor superiore a quello delle A100 retail. Il punto di partenza è una segmentazione decisa a monte: il silicio conterrebbe circa 80 GB di memoria, ma i fusibili ne espongono solo 8. Con sblocchi software si poteva arrivare a 64 GB, ma il voltage fault injection ha permesso di superare il blocco. Il risultato non è lineare: la scheda passa da 72,5 a 85,9 TFLOPS in FP16, ma soprattutto mette a disposizione una capacità di memoria che cambia il posizionamento del prodotto.

Per chi osserva l'inference degli LLM on-premise, il primo elemento non è la velocità di picco. È la disponibilità di VRAM. Con 80 GB di HBM si possono ospitare modelli più grandi senza spingerli verso una quantization aggressiva, e si può sfruttare una bandwidth che rende più fluida la generazione dei token. Il glitch non inventa nuova capacità: rimuove un vincolo imposto da una decisione commerciale. Questo è il segnale principale, e merita di essere letto al di là del singolo esperimento.

Il mod è anche un esperimento di reverse engineering. Mostra che il confine tra una scheda da mining e una GPU destinata ai data center non è fisico, ma attivato o disattivato a livello di configurazione. La stessa base di silicio può alimentare prodotti con prezzi, garanzie e supporto molto diversi. Non è una novità assoluta nel settore dei semiconduttori, ma la documentazione di Kate rende visibile la scala del fenomeno su una GPU che molti guardano per i carichi di intelligenza artificiale.

La conseguenza immediata è che la VRAM non va trattata come una semplice voce di specifica. Va letta come la risorsa più contesa per i modelli linguistici locali, e come una leva che i produttori possono azionare per delimitare i mercati. Quando un intervento artigianale riesce a spostare quel confine, emergono domande sul valore reale dell'hardware e sulla sostenibilità delle politiche di segmentazione.

Perché la segmentazione via fusibili è più importante del benchmark

NVIDIA segmenta lo stesso die commerciale con fusibili, non con silicio diverso. Per l'azienda è una scelta efficiente: un unico progetto produttivo può alimentare schede per mining, workstation e data center, riducendo la complessità di linea. Il rovescio della medaglia è che la differenza tra prodotti diventa in parte decisionale. I fusibili stabiliscono quanta memoria è visibile, quali interconnessioni sono attive e quanti streaming multiprocessor lavorano. Questo non è un difetto: è una politica di prodotto.

Per il mercato, la segmentazione via fusibili ha un effetto ambivalente. Da un lato consente di offrire configurazioni diverse senza moltiplicare i costi di produzione. Dall'altro crea un incentivo costante a scavare nella parte disattivata. Il mod di Kate non è un caso isolato nella logica: è il sintomo di una domanda che il listino ufficiale non soddisfa pienamente. Chi cerca VRAM abbondante per l'inference locale guarda anche all'usato, alle schede da mining e alle possibilità di sblocco, perché le opzioni ufficiali possono essere costose o sovradimensionate per altri aspetti.

Il secondo effetto riguarda la trasparenza delle specifiche. Un acquirente enterprise legge una scheda con 8 GB di HBM e la tratta come tale. Ma il silicio contiene molta più capacità. Questo non vuol dire che la capacità aggiuntiva sia garantita o utilizzabile: i fusibili e i test di produzione esistono per isolare aree non conformi o per limitare il posizionamento. Tuttavia, il divario tra ciò che è fisicamente presente e ciò che è esposto al software allarga lo spazio per interventi non ufficiali.

In ottica on-premise, la segmentazione via fusibili complica la valutazione del TCO. Una scheda modificata può avere specifiche attrattive, ma non ha una resa omogenea né un supporto. Il costo reale non è solo quello di acquisto: include il tempo di modifica, i tentativi falliti, il rischio di brick e la mancanza di ricambi. Per questo il benchmark non deve guidare la decisione infrastrutturale.

Il TCO di una scheda modificata: perché il mod non scala

La procedura documentata da Kate non è replicabile in produzione. Richiede cablaggi sulla scheda, un glitcher basato su STM32 e da 1 a 48 ore di tentativi per singola unità. Su dieci schede trattate, una aveva comunque solo 64 GB funzionanti. Questo dato è sufficiente per escludere la strada del mod come base di un cluster on-premise. La variabilità tra unità è un problema di pianificazione: un cluster con capacità eterogenea complica il bilanciamento dei carichi, la stima della memoria disponibile e la gestione dei fallimenti.

Il rischio di brickare l'hardware è reale. In un contesto aziendale, un tasso di fallimento anche modesto si traduce in fermi macchina, costi di sostituzione e perdita di prevedibilità. Non esiste un vendor a cui chiedere supporto, né una garanzia che copra un intervento di voltage fault injection. Chi progetta infrastrutture destinate all'inference di LLM deve poter contare su specifiche stabili e su una pipeline di approvvigionamento affidabile.

Il punto non è condannare la sperimentazione. Il lavoro di Kate ha valore come ricerca e come segnale di mercato. Ma il TCO di un parco di schede modificate è incalcolabile perché i tassi di riuscita non sono garantiti e il guadagno di capacità non è omogeneo. Per un laboratorio universitario o per un hobbista, il rischio può essere accettabile. Per un deployment self-hosted che deve servire utenti reali, la variabilità diventa un costo nascosto.

Chi valuta l'hardware per LLM on-premise dovrebbe concentrarsi su parametri verificabili: VRAM, bandwidth, consumo, supporto e prevedibilità delle specifiche. Le soluzioni estreme catturano l'attenzione ma non offrono le fondamenta per un servizio stabile. Il caso della CMP 170HX è utile proprio perché mostra il limite tra l'interessante e l'operativo.

Cosa cambia per l'inference LLM on-premise

Per i carichi di inference, la VRAM è spesso il collo di bottiglia prima della potenza di calcolo. Un modello linguistico deve risiedere in memoria per generare token senza ricorrere a spostamenti continui. Quando la capacità è insufficiente, si interviene con quantization, riducendo la precisione dei pesi per far entrare il modello. La quantization può ridurre l'ingombro, ma ha impatti sulla qualità e richiede attenzione. Con 80 GB di HBM, una parte dei modelli può essere servita senza spingersi verso configurazioni estreme.

La bandwidth conta altrettanto. La generazione dei token è un processo che alterna letture dei pesi e calcoli; una memoria veloce aiuta a mantenere la latenza sotto controllo. L'HBM presente sulla CMP 170HX ha una bandwidth elevata, e questo spiega perché l'operazione attiri chi lavora con modelli aperti. La capacità di ospitare il modello più grande senza tagli aggressivi e la fluidità nella generazione sono due vantaggi che prescindono dai TFLOPS di picco.

Il ritorno di NVLink e PCIe Gen4, disabilitati nella versione mining, apre anche la questione delle interconnessioni. Per l'inference distribuita su più GPU, la comunicazione tra schede può diventare un fattore determinante. Una scheda da mining senza queste interconnessioni è poco adatta a cluster ad alta densità. Il mod di Kate mostra che anche la connettività era stata disattivata, non rimossa. Ma affidarsi a un intervento non ufficiale per ripristinarla non è una strategia di deployment.

Il messaggio per i team che gestiscono LLM on-premise è duplice. Da un lato, il mercato conferma che esiste una domanda di VRAM abbondante e di schede con specifiche adatte all'inference locale. Dall'altro, la strada del fai-da-te non risolve il problema della prevedibilità. Servono prodotti con configurazioni dichiarate, consumi misurabili e supporto; oppure serve accettare che l'usato e il mod occupino una nicchia sperimentale, non la spina dorsale di un servizio.

Chi perde e chi guadagna da una VRAM sbloccabile

Il mod di Kate non redistribuisce il mercato in modo uniforme. I singoli sperimentatori e i piccoli laboratori possono trarre vantaggio da una scheda che, dopo l'intervento, offre più memoria e più unità di calcolo rispetto a una A100 retail, almeno sui numeri FP16 riportati. Ma il vantaggio è fragile: dipende dalla riuscita del glitch, dalla qualità del singolo esemplare e dall'assenza di supporto. Non è una base per scalare.

NVIDIA e i partner che costruiscono le schede hanno interesse a mantenere la segmentazione. I fusibili permettono di difendere i listini e di indirizzare i clienti verso prodotti con margini diversi. Se la pratica dello sblocco si diffondesse, il confine tra mining e data center diventerebbe più poroso. Tuttavia, il volume e la complessità dell'intervento limitano il rischio reale per i vendor. Il mod rimane una nicchia tecnica, ma segnala che le politiche di segmentazione sono osservate.

I system integrator e i responsabili di infrastruttura non hanno molti incentivi a seguire questa strada. La variabilità delle unità modificate rende difficile progettare un cluster omogeneo. La mancanza di supporto, la possibile violazione dei termini di garanzia e il rischio di brick spostano il TCO verso l'incertezza. Per chi deve rendere conto della disponibilità di un servizio, l'affidabilità vale più di qualche TFLOPS aggiuntivo.

Il vero beneficiario del segnale è il dibattito sull'hardware per l'inference locale. La vicenda rende visibile una tensione: il mercato chiede più VRAM a costi sostenibili, mentre i produttori segmentano il silicio per proteggere le linee di prodotto. Questa tensione non si risolve con un glitcher, ma può influenzare le prossime generazioni di GPU e le scelte di chi costruisce soluzioni on-premise.

Cosa guardare nei prossimi mesi

Il primo segnale da monitorare è l'evoluzione delle capacità di memoria sulle schede consumer e professionali. Se la domanda di LLM locali continua a crescere, la VRAM diventerà un campo di battaglia competitivo. I produttori potrebbero aumentare le configurazioni di memoria, oppure introdurre prodotti specifici per l'inference con più HBM o GDDR. La vicenda della CMP 170HX non determinerà da sola queste scelte, ma è un indicatore della pressione che arriva dal basso.

Il secondo segnale è la risposta dei vendor alle pratiche di sblocco. Le tecniche di voltage fault injection sono note da tempo nella ricerca sulla sicurezza, ma quando si applicano a GPU destinate all'AI il discorso cambia. Possibili contromisure includono fusibili più difficili da aggirare, controlli aggiuntivi o nuove politiche di garanzia. Al tempo stesso, i vendor potrebbero scegliere di ridurre il gap tra silicio fisico e specifiche esposte per togliere incentivi.

Il terzo segnale riguarda l'ecosistema self-hosted. Su AI-RADAR continuiamo a tracciare i framework e le configurazioni per l'on-premise perché la scelta dell'hardware non è separata da quella del software. La disponibilità di VRAM condiziona il modello che si può servire, la quantization accettabile e la fluidità della generazione. Le schede modificate non entreranno nei data center, ma influenzano la percezione di ciò che è possibile con hardware non ufficiale.

Infine, resta da osservare il tema dell'omogeneità. Qualsiasi cluster costruito su basi variabili, anche lontano dal voltage glitching, paga un costo di gestione. La lezione della CMP 170HX è che una scheda su dieci può non raggiungere la capacità attesa. Per chi pianifica un deployment self-hosted, la prevedibilità è un requisito, non un optional. Le specifiche contano quando sono stabili nel parco installato.