Non è la prima volta che un thread su r/LocalLLaMA cattura l’attenzione, ma questa richiesta ha una risonanza particolare: un utente si rivolge direttamente al team Qwen perché rilasci un modello MoE da 100 miliardi di parametri in grado di girare su “Spark”. Il messaggio, asciutto e senza giri di parole, è l’emblema di una pressione che monta nel sottobosco del self-hosting dell’AI. Non è una semplice wishlist da appassionati, ma il sintomo di un cambiamento strutturale nella domanda di hardware e software per l’inference locale.

I Mixture of Experts incarnano la soluzione di compromesso che il mondo on-prem stava aspettando. A differenza dei modelli densi, dove ogni token attiva l’intera rete da 100 miliardi di parametri, un MoE suddivide il carico in “esperti” indipendenti: a ogni passo ne vengono coinvolti solo una manciata. Il risultato è un modello con una conoscenza complessiva gigantesca, ma con un costo computazionale e un’impronta di VRAM più vicini a quelli di un modello di taglia inferiore. È la chiave per infilare capacità da data center in workstation dotate di una o due GPU consumer, purché il team di sviluppo abbia curato l’ottimizzazione in tal senso.

Il punto dolente, però, è che la maggior parte dei MoE viene ancora pensata per l’inference cloud o su cluster aziendali, dove la VRAM aggregata e la larghezza di banda non sono un problema. La richiesta per “Spark” — termine che nella comunità evoca configurazioni basate su schede come NVIDIA RTX 4090 o simili, con 24 GB di VRAM — segnala che la soglia di ciò che viene considerato “minimo indispensabile” per il deployment locale si sta alzando. Fino a un anno fa, far girare un modello da 70B in 4-bit su una singola GPU da 24 GB era già un traguardo; oggi la stessa comunità chiede modelli da 100B che possano funzionare in condizioni simili.

Se Qwen rispondesse all’appello, le implicazioni andrebbero ben oltre il singolo modello. Metterebbe pressione su Meta (con i futuri Llama), su Mistral e su DeepSeek affinché progettino architetture MoE pensate fin dall’inizio per l’esecuzione su singola GPU. Si creerebbe un effetto a catena sull’intera filiera degli strumenti di serving, come vLLM e llama.cpp, spingendoli a migliorare ulteriormente la gestione della memoria e il supporto per esperti sparsi. E, non da ultimo, cambierebbe gli incentivi per chi produce hardware: i vendor di GPU consumer vedrebbero aumentare la domanda di schede con più VRAM, mentre i fornitori di infrastrutture cloud potrebbero dover ricalibrare le offerte di inference “serverless” se una fetta crescente di utenti sceglie di restare on-prem.

C’è un’altra dimensione, meno visibile ma altrettanto cruciale: la sovranità dei dati. Aziende e sviluppatori che gestiscono informazioni sensibili o operano sotto regolamentazioni stringenti trovano nei modelli self-hosted l’unica via praticabile. Un MoE da 100B ottimizzato per hardware accessibile allargherebbe il perimetro di chi può fare inference di qualità senza cedere dati a terzi. Non è un caso che la richiesta arrivi proprio nel momento in cui il GDPR e normative simili iniziano a pesare sui calcoli di convenienza economica dei C-Level.

Tutto, naturalmente, ruota intorno a un punto interrogativo: cosa intenda esattamente il richiedente per “Spark”. Se fosse un riferimento a un sistema multi-GPU con NVLink o a una piattaforma specifica, il discorso cambierebbe leggermente, ma non nelle fondamenta. L’essenza della richiesta resta la stessa: portare modelli di frontiera su macchine che chiunque può comprare, senza dipendere da un fornitore esterno. E questo, per il movimento del local-first AI, è un enunciato politico prima ancora che tecnico.