Microsoft AI ha sviluppato una versione locale di MAI Code 1.1 Flash, un modello orientato alla programmazione basato su architettura mixture-of-experts (MoE) con 137 miliardi di parametri totali e 6,8 miliardi di parametri attivi. La notizia, emersa da una pagina della command line Microsoft dedicata a modelli locali e strumenti sandboxed per GitHub e Windows, non arriva con schede tecniche dettagliate: nessun dato su VRAM, throughput o quantization. Ma il solo fatto che Microsoft etichetti il modello come “locale” è un segnale preciso.

Nei modelli MoE, non tutti i parametri lavorano per ogni token: un meccanismo di routing attiva solo una parte degli esperti. Questo riduce il costo computazionale per token, ma non elimina il vincolo di memoria. Per eseguire il modello in locale servono comunque risorse sufficienti a ospitare l'intero set di pesi, non solo quelli attivi. È una distinzione che chi valuta deployment on-premise conosce bene: l'inference può diventare più rapida o più economica in termini di calcolo, ma il footprint di memoria resta legato ai 137 miliardi di parametri, non ai 6,8 miliardi.

La scelta di un modello orientato al codice è coerente con la direzione di Microsoft su GitHub e Windows. Un assistente di coding locale permette di mantenere il codice sorgente all'interno del perimetro aziendale, evitando di inviare snippet a endpoint cloud. Per team che lavorano su repository proprietari o che devono rispettare vincoli di residenza dei dati, questa configurazione cambia i termini della valutazione: non si confronta solo la qualità del completamento, ma anche il costo di mantenere un modello di grandi dimensioni su hardware proprio.

La spinta verso modelli locali di grandi dimensioni segnala una fase in cui il mercato si divide tra chi può permettersi GPU con molta VRAM e chi resta legato ai servizi cloud per modelli di fascia alta. Il conteggio dei parametri attivi è diventato uno strumento di marketing tecnico, ma la variabile che decide la fattibilità on-premise è la memoria disponibile. Microsoft, spingendo una versione locale di un modello da 137 miliardi, sta normalizzando l'idea che i modelli di punta possano girare anche fuori dal cloud, a patto di avere l'infrastruttura giusta.

Per i fornitori di workstation e GPU con alta VRAM, questa mossa apre un mercato più ampio. Per i servizi cloud di coding assistant, aumenta la pressione competitiva: se un modello locale offre qualità sufficiente, una parte della domanda enterprise può spostarsi verso soluzioni self-hosted per motivi di controllo e sovranità. La partita non si gioca solo sulla qualità del completamento del codice, ma sulla capacità di offrire un deployment che rispetti i confini dei dati aziendali.