Chi segue l’evoluzione dei modelli open-weight sa che la vera partita non si gioca solo sui benchmark, ma sulla possibilità di eseguire inference in locale senza dipendere da datacenter. Maple-Preview, appena annunciato, prova a spostare l’asticella: 20 miliardi di parametri totali, 1 miliardo di attivi per forward pass e pesi quantizzati a tre valori. La scheda tecnica è scarna – si tratta di una preview – ma l’architettura dice molto sulle prossime mosse del settore.

I pesi ternari (ogni valore è -1, 0 o +1) richiedono meno di 2 bit per parametro. Per un modello da 20B significa circa 5 GB di memoria contro i quasi 40 GB del formato FP16, senza contare il footprint delle attivazioni. Se a questo si aggiunge un design MoE-like che attiva solo 1 miliardo di parametri per token, il carico computazionale cala ulteriormente. Sul piano hardware, il segnale è forte: per l’inference potrebbe bastare una GPU consumer con VRAM modesta, o un sistema Apple Silicon con memoria unificata, senza dover investire in costose schede enterprise.

C’è però un nodo: l’esecuzione di operazioni ternarie non è nativa sulle GPU tradizionali. Servono kernel ottimizzati, spesso basati su operazioni bitwise, e non tutti i framework per il serving (vLLM, TGI, llama.cpp) offrono oggi un supporto maturo per questa quantization estrema. Maple-Preview, proprio perché è una preview, lascia intendere che il lavoro sugli strati software debba ancora consolidarsi. Chi gestisce deployment on-premise self-hosted sa che la compatibilità con l’ecosistema di inference conta quanto i pesi del modello.

La vocazione al ragionamento aggiunge un ulteriore strato: task di chain-of-thought e problem-solving strutturato consumano molti token, perciò la riduzione del costo per token diventa cruciale. Un modello capace di restare sotto i 10 GB di VRAM durante sessioni prolungate potrebbe essere integrato in ambiente enterprise air-gapped senza rinunciare a capacità di ragionamento avanzate, un equilibrio finora difficile da raggiungere con modelli più grandi.

Guardando alle implicazioni strutturali, Maple-Preview è un esempio di come la direzione MoE più quantization estrema possa ridefinire la soglia d’ingresso per chi vuole addestrare, fare fine-tuning o semplicemente servire LLM in casa. Le aziende che finora vedevano nel cloud l’unica via per via dei requisiti hardware potrebbero trovare in questo approccio una alternativa percorribile, con ricadute su TCO e controllo dei dati. Non è ancora un prodotto finito, ma segnala un mercato in cui la sovranità dell’inference diventa una variabile progettuale già dalla scelta dei pesi, non solo dall’infrastruttura.