Sul banco di prova di un Mac con M5 Pro e 64 GB di memoria, il nuovo modello Muse Glimmer passa da 21,6 a 33,0 token al secondo quando si attiva il decoding speculativo DFlash: un salto del 52,8% che non è solo un traguardo ingegneristico, ma il segnale che l’AI agentica su dispositivo sta diventando pratica, non più sperimentale.

Meta ha aperto il codice di Muse Glimmer, un modello da 30 miliardi di parametri distillato da Muse Spark e pensato per flussi di lavoro agentici in locale. La novità non è tanto il modello in sé, quanto il suo atterraggio su ExecuTorch, il framework di Meta che esporta direttamente da PyTorch e gestisce il lowering per i backend, compresa la compilazione ahead-of-time ottimizzata per GPU NVIDIA e per l’hardware Apple Silicon. L’approccio aggira la riscrittura dei modelli in altri linguaggi, un vincolo che con le architetture sempre più complesse – ingressi multimodali, decoding speculativo, finestre di contesto lunghe – diventava insostenibile.

Per chi sviluppa, significa che lo stesso modello scritto una volta in PyTorch diventa un artefatto PTE ottimizzato per CUDA o Metal. ExecuTorch supporta l’esportazione nativa dal formato GGUF, l’esecuzione diretta della quantization K-quant (dal Q4_K al Q6_K) e il contesto oltre 128.000 token, reso efficiente dal fatto che solo 13 dei 52 strati sono globali, mentre i restanti 39 lavorano su finestre scorrevoli. Il decoding speculativo DFlash, con condivisione dei pesi tra target e draft e dimensione dei blocchi esportabile dinamicamente, viene incluso nello stesso PTE: niente più artefatti separati o riconfigurazioni manuali per abilitare la speculazione.

C’è un dato strutturale da non sottovalutare: la pipeline agentica è testata end-to-end con un server di inference che gestisce sessioni multiple isolate, template Harmony per il routing del ragionamento e parsing dei tool call XML generati dal modello. Il demo con Pi coding agent, che scrive codice, installa pacchetti e chiede feedback all’utente, non è un esercizio di stile: mostra un flusso di lavoro reale in cui l’intera interazione resta sulla macchina locale.

In termini di architettura, ExecuTorch cattura la fase di decode in un CUDA graph sui chip NVIDIA, riducendo l’overhead di lancio dei kernel, mentre sui Mac Apple Silicon abbassa RMSNorm, RoPE, SDPA e operazioni lineari quantizzate su implementazioni MLX-native o kernel Metal fusi. La combinazione permette di mantenere latenze basse senza riprogettare il modello per ogni hardware.

Per le organizzazioni che valutano il deployment on-premise di modelli agentici, la convergenza di GGUF, K-quant, contesto lungo e decoding speculativo in un singolo strumento cambia i termini del confronto con le API cloud. Non serve più sacrificare la velocità o la qualità della risposta per tenere i dati dietro il proprio firewall. Restano però assenti funzioni come il prefix sharing cross-session, il checkpointing e il batching continuo, indispensabili per carichi multi-tenant consistenti: il team le ha già in lavorazione. AI-RADAR mette a disposizione framework analitici su /llm-onpremise per chi deve pesare questi trade-off in fase di scelta.

Il rilascio di Muse Glimmer su ExecuTorch non è un annuncio isolato. Segna un’accelerazione verso stack di inference che trattano il modello e la strategia di decoding come un tutt’uno esportabile e ottimizzabile a priori, riducendo il tempo che intercorre tra il prototipo in PyTorch e il deploy su hardware edge. In un ecosistema in cui la corsa all’efficienza locale è sempre più rilevante per la sovranità dei dati e per i costi operativi, la direzione è chiara: i modelli agentici saranno sempre più spesso eseguiti dove vengono usati, non più affittati a token.