Se avete seguito le sperimentazioni estreme con i modelli aperti, Qwen è già comparso come una piattaforma inattesa. Lo stesso ricercatore che in precedenza aveva inserito una CPU RISC-V nei pesi del modello ora ha pubblicato QwenPU: una NPU compilata dentro i pesi di Qwen 3.5-4B, capace di eseguire stories260k, il piccolo LLM di Andrej Karpathy, senza strumenti esterni. Il codice è su GitHub, i pesi su Hugging Face.

Il punto tecnico è radicale. stories260k è un programma C. Per farlo girare dentro Qwen, l'autore ha compilato una NPU nei pesi del modello esterno, in grado di eseguire matmul, softmax e attention in modo bit-exact. Le matrici del modello annidato risiedono nella memoria di Qwen, senza chiamate a runtime separati. Non è emulazione nel senso tradizionale: è una macchina di calcolo codificata come pattern di attivazioni e pesi, che esiste solo quando Qwen processa i token.

La prima implicazione non è la prestazione, ma la ridefinizione del confine tra modello e piattaforma di esecuzione. Un LLM da 4 miliardi di parametri viene usato come substrato computazionale, non solo come generatore di testo. Chi gestisce deployment self-hosted sa che ogni componente aggiuntivo — inference server, runtime NPU, orchestrazione — aumenta la superficie di attacco e la complessità operativa. Qui la logica di esecuzione è incorporata nello stesso artefatto del modello. Non ci sono dipendenze esterne. Per chi valuta deployment on-premise, esistono trade-off tra riduzione delle dipendenze e capacità del modello; AI-RADAR ne discute i framework su /llm-onpremise.

La seconda implicazione è di secondo ordine: i pesi di un modello open diventano un vettore di distribuzione per software che gira solo durante l'inference. Oggi stories260k è un esperimento; domani lo stesso schema potrebbe incapsulare filtri di conformità, parser o piccoli automatismi dentro modelli self-hosted, senza container aggiuntivi. Ma porta anche rischi: un sistema annidato dentro i pesi è meno ispezionabile di un eseguibile separato; audit e manutenzione cambiano natura.

L'autore ha dichiarato di essere malato e di avere la documentazione completa ancora in lavorazione, con ottimizzazioni e riduzioni di dimensione in corso. È un dettaglio umano che rende il progetto ancora più interessante: la dimostrazione è già pubblica, ma il ragionamento completo arriverà dopo. Nel frattempo, QwenPU pone una domanda più scomoda di quanto sembri: se un LLM può eseguire un altro LLM, quando smette di essere un modello e diventa un computer? Per chi costruisce stack locali, la risposta non è più un esercizio teorico.