C’è un post su Reddit che vale più di molti white paper. L’autore, con il nickname KriptacMessage, ha spinto la sua Radeon AI Pro R9700 – una scheda AMD con 32 GB di VRAM – fino a farci girare due modelli Qwen3.6 da 27 e 35 miliardi di parametri, con finestre di contesto che arrivano a 262 mila token. Il tutto su una singola GPU, senza distribuire il carico, e con prestazioni che fino a poco tempo fa avrebbero richiesto configurazioni multi-GPU.

La chiave è una quantization aggressiva a INT4 (formato W4A16, group_size 32), presa dai pesi pre-confezionati di Avesed su Hugging Face. Il 35B in FP8, per dire, semplicemente non ci sta in 32 GB con un contesto utile. L’INT4, invece, riesce a far convivere miliardi di parametri e una memoria di contesto abbastanza ampia da coprire lunghi documenti o interi codebase. I benchmark raccontano la storia: il modello MoE da 35B a INT4 raggiunge 262 mila token di contesto, passando da 61.4 tok/s in decode a 4k di profondità fino a 49.5 tok/s a 150k, con un prefill che cala fisiologicamente. Il 27B (architettura densa) sfrutta quattro speculative tokens e tiene una media di 59.6 tok/s in decode fino a 50k di contesto, per poi scendere a 53.7 tok/s a 100k. Tutto registrato su setup self-hosted via container Podman con vLLM.

Non siamo di fronte a un caso da laboratorio: è un banco di prova concreto per chiunque abbia necessità di inference on-premise, dai team di sviluppo alle piccole imprese. La singola R9700, pensata per workstation professionali, assomiglia molto alle GPU che già si trovano in ambienti edge o in server compatti. La possibilità di farci correre un LLM con 100k o più token di contesto sposta l’asticella della “local AI” ben oltre i modelli nani da 7B. Certo, la quantization INT4 non è gratis: introduce un compromesso qualitativo che per molti use-case aziendali può essere accettabile, specie se compensato dal controllo totale sui dati e dall’assenza di chiamate ricorrenti a servizi cloud.

Il diavolo, come sempre, sta nei dettagli. L’utente ha dovuto correggere a mano il tokenizer.json dei pesi INT4, dove erano rimasti valori di troncamento a 512 token ereditati dalla calibrazione, un intoppo che rompeva le capacità visive del modello. Un piccolo intervento che rivela la verità di questo ecosistema: la strada è percorribile, ma serve chi sappia mettere mano a parametri, container, script di avvio. Non basta premere “avvia”. Eppure, è proprio questa comunità di smanettoni a costruire le basi per un’offerta on-premise più robusta: il container vLLM custom (stilldeadcode/vllm-radiance) con tutti i toggle preimpostati per le Radeon è un esempio di come il software open source stia colmando il divario con i più maturi stack NVIDIA.

Per chi guarda al deployment on-premise con occhio strategico, questi numeri segnalano una convergenza. AMD, finora assente dai radar del machine learning di produzione, sta mettendo a terra hardware capace di sostenere inference su modelli di taglia media con finestre di contesto enormi. L’assenza di un secondo GPU (tensor parallelism a 1) significa che non serve NVLink o interconnessioni costose, abbassando la barriera di ingresso. Il Total Cost of Ownership beneficia di schede dal prezzo più accessibile e di consumi contenuti.

Intanto l’autore guarda già a Qwen3.8, confermando la ciclicità rapida di questo settore. Un promemoria: l’on-premise non è un traguardo, ma un processo continuo di ottimizzazione dove ogni singolo token al secondo strappato con l’ingegno conta. E la Radeon R9700 dimostra che ne vale la pena.