Un breve post su Reddit, un semplice "Please Qwen, can we have more 3.x-35B-a3B please 🙏", ha riacceso una discussione che va ben oltre la richiesta di una nuova versione di un LLM. La menzione di "35B-a3B" rimanda all'architettura Mixture of Experts (MoE) già vista in Qwen2.5-35B-A3B: un modello con 35 miliardi di parametri totali, ma solo 3 miliardi attivi durante l'inference. La community non chiede solo un aggiornamento: sta indicando una direzione precisa per il deployment dell'AI, quella in cui la capacità del modello si adatta ai vincoli dell'hardware locale, senza passare dal cloud.

Il cuore tecnico della questione è il "fattore di sparsità" computazionale. Avere 35B parametri totali significa immagazzinare una conoscenza vasta; attivarne solo 3B per ogni token rende l'inference simile, in termini di calcolo, a quella di un modello molto più piccolo. Questo schema aggira il classico trade-off: non è necessario quantizzare aggressivamente per ridurre il consumo di VRAM (anche se la quantization può comunque coesistere), perché il collo di bottiglia si sposta dal calcolo puro alla capacità di memoria. Tutti i 35B parametri devono comunque risiedere in VRAM, ma il costo computazionale scende drasticamente, permettendo a una singola GPU di fascia media — o a un piccolo cluster — di gestire dialoghi complessi senza crolli di latenza.

La richiesta della community assume un significato ancora più preciso se la si colloca nel contesto di chi valuta il deployment on-premise. Per enti che devono garantire la residenza dei dati o operare in ambienti air-gapped, il modello MoE a bassa attivazione rappresenta un'alternativa concreta alle soluzioni totalmente cloud, senza richiedere investimenti in rack di GPU di ultima generazione. Il caso di Qwen2.5-35B-A3B ha già mostrato che è possibile self-hostare un modello con capacità linguistiche significative su hardware consumer prosumer, un segnale che erode il vantaggio competitivo dei fornitori di AI-as-a-Service basati solo sulla scala del modello.

Leggere tra le righe di questo appello significa anche intercettare un cambiamento negli incentivi dell'ecosistema. I produttori di modelli finora hanno rincorso parametri sempre più grandi. Qui la domanda si sposta su una diversa forma di efficienza: non "quanto è grosso il modello", ma "quanto è sottile il suo meccanismo di attivazione". È una pressione che potrebbe spingere altri laboratori a rilasciare varianti MoE ottimizzate per il self-hosting, spostando la competizione dal mero punteggio di benchmark alla densità di conoscenza per byte di VRAM occupato. Chi produce hardware specializzato — come i chip con ampia banda di memoria e core di calcolo ridotti — potrebbe trovare in queste architetture un mercato più ampio, mentre i tradizionali acceleratori GPU ad alta potenza potrebbero veder ridimensionato il loro ruolo per certi carichi di inference.

In questa prospettiva, il post su Reddit non è una semplice richiesta di un prodotto. È un campanello d'allarme per chiunque operi nella catena dell'AI: la domanda di "modelli asimmetrici" — grandi nello storage, piccoli nell'esecuzione — è già reale e spingerà l'innovazione verso soluzioni che rendono l'AI autonoma e locale non solo possibile, ma economicamente ragionevole. E forse, nel silenzio che segue l'invocazione infantile ("please 🙏"), il team di Qwen sta già lavorando.