Il progetto Kyojin ha dimostrato che due modelli MoE da circa 300 miliardi di parametri possono girare su un singolo mini PC da 128 GB equipaggiato con AMD Strix Halo (gfx1151) e ROCm. I numeri, misurati su un Ryzen AI Max+ 395, raccontano una storia precisa: GLM-5.3-Flash raggiunge 580 token/s in prefill con 3,5K di contesto e 546 token/s a 64K; MiMo-V2.6-Flash-MOPD tocca circa 650 token/s a 4K. In decode, GLM viaggia tra 26 e 30 token/s con MTP, mentre MiMo arriva a 32 token/s su prosa, 35 su chat e 44 su codice in modalità speculativa, fermandosi a 29 token/s senza speculazione.

Il dato strutturale non è la velocità assoluta, ma il fatto che i pesi EXL3 occupino 99,7 GB per GLM e 105 GB per MiMo, quindi ciascuno entra nella memoria unificata di una macchina da 128 GB. Per anni, modelli di questa classe hanno richiesto server multi-GPU con VRAM complessiva ben oltre i 100 GB. Kyojin sposta il vincolo: non è più la capacità di VRAM a rendere il deployment locale impraticabile, ma la qualità della quantization e la banda di memoria disponibile. In un modello MoE solo una parte degli esperti è attiva per ogni token, quindi il collo di bottiglia reale non è il calcolo puro, ma la rapidità con cui i pesi vengono letti dalla memoria.

Il compromesso è misurabile. La distanza KLD rispetto alla versione FP8 è 0,151 per GLM e 0,0713 per MiMo, con una concordanza top-1 rispettivamente dell'89,3% e del 92,0%. Il pacchetto GLM nasce da un mix di tensori EXL3 pubblici di turboderp a 2,05 e 3,05 bit per weight, con un layer mix e una fase di tuning sviluppati dal team. Sulle stesse 129 righe, il pacchetto più piccolo da 85 GB di turboderp registra una KLD di 0,275 e decodifica circa il 10% più veloce; il mix da 100 GB di Kyojin scende a 0,190 ma paga in velocità. È il classico triangolo dimensione-qualità-latenza, reso qui esplicito.

L'apertura del progetto è parziale ma non banale. Il motore Kyojin è costruito su ExLlamaV3 di turboderp, con contributi ROCm di sdougbrown e vcruz305, ed è disponibile su GitHub insieme ai modelli su Hugging Face. La pipeline di conversione, invece, resta privata. Questo crea una tensione per chi valuta deployment on-premise o air-gapped: da un lato c'è un runtime open e pesi scaricabili, quindi più verificabilità rispetto a endpoint cloud; dall'altro, senza la pipeline di conversione non è possibile riprodurre o validare in modo indipendente il processo di quantization. Per la sovranità dei dati, avere il motore e i pesi locali è comunque un passo avanti, ma la trasparenza completa è ancora lontana.

Le varianti -Uncensored aggiungono un ulteriore livello. Gli stessi pesi sono accompagnati da un piccolo file che il motore applica al caricamento, con un interruttore per disattivarlo. Non sono ancora state misurate. In un contesto enterprise, la presenza di un interruttore di sicurezza removibile non è neutra: facilita la sperimentazione, ma impone alle organizzazioni di tracciare con attenzione quale configurazione gira nei propri ambienti, soprattutto in settori regolamentati.

A livello di mercato, il progetto segnala che la piattaforma Strix Halo di AMD diventa interessante non per picchi di calcolo, ma per la memoria unificata ampia. Un mini PC da 128 GB potrebbe ridurre CapEx e ingombro rispetto a un server multi-GPU per determinate attività di inference, anche se la velocità di decode sotto i 50 token/s lo rende inadatto a carichi interattivi ad alta concorrenza. Resta il fatto che il software è decisivo: ExLlamaV3, ROCm e i kernel comunitari sono ciò che rende possibile il risultato, non solo l'hardware. La domanda successiva, posta dagli stessi sviluppatori, è quali modelli portare dopo e quali token/s ottengono gli utenti: un invito a trasformare un annuncio tecnico in un banco di prova diffuso per il deployment locale di modelli di frontiera.