La community di llama.cpp ha appena aperto una porta in più per chi esegue modelli di grandi dimensioni in locale: il supporto a MTP per GLM-4.5-Air. Il modello è un MoE da 106 miliardi di parametri con soli 12 miliardi attivi per token, una combinazione che lo rende adatto a macchine con molta memoria ma poca potenza di calcolo: la Strix Halo di AMD, il DGX Spark di NVIDIA o schede come la RTX 3090. L'autore della modifica, jacek2023, ha dichiarato di usarlo proprio su 3090, segno che il deployment on-premise di modelli di questa classe non è più confinato ai data center.

MTP, Multi-Token Prediction, cambia il modo in cui il modello genera token: invece di prevederne uno alla volta, prova a indovinarne più di uno in parallelo, riducendo la dipendenza sequenziale e aumentando il throughput. Su hardware con banda di memoria limitata ma capacità elevata, questo tipo di ottimizzazione è critico: il collo di bottiglia non è il calcolo puro, ma il tempo di attesa tra un token e il successivo. Non stupisce quindi che la modifica sia stata testata su configurazioni come Strix Halo e DGX Spark, sistemi pensati per un equilibrio diverso tra CPU, GPU e memoria unificata.

La notizia non è solo tecnica. GLM-4.5-Air è diventato un punto di riferimento per la scrittura creativa, una nicchia in cui i modelli generalisti spesso deludono. Su Hugging Face esistono diversi fine-tuning dedicati al creative writing e al roleplay, alcuni pubblicati quest'anno. Questa vivacità della community è un segnale strutturale: quando un modello open weight riesce a girare su hardware consumer e riceve una pipeline di affinamento attiva, il costo marginale per sperimentare crolla. Chi aveva bisogno di un cluster per addestrare una variante oggi può farlo su una singola macchina con GPU di fascia alta, e chi vuole solo generare storie non deve più passare dal cloud.

C'è anche chi perde. I provider cloud che offrono LLM as-a-service vedono erodersi il segmento delle applicazioni creative e personali, dove la latenza e la sovranità dei dati contano più dei benchmark standard. Per aziende e singoli sviluppatori che valutano un deployment self-hosted, questa notizia aggiunge un tassello: non serve una scheda enterprise per ottenere prestazioni accettabili su un modello MoE da oltre 100 miliardi di parametri. La combinazione tra quantization, MTP e hardware progettato per la memoria unificata sta spostando l'asticella verso l'edge, anche se il vero banco di prova resta la qualità dei fine-tuning e la manutenzione nel tempo.

Un dettaglio operativo: se il file GGUF non include già il blocco MTP, è possibile scaricare un file separato e integrarlo. L'autore ringrazia devMiikaK e HeadCutter per i test durante lo sviluppo, un lavoro di collaborazione tipico dell'ecosistema llama.cpp. Resta da chiedersi quanto durerà l'interesse per GLM-4.5-Air: il modello completo GLM-4.5, secondo l'autore, è ormai poco usato, ma le varianti creative continuano a proliferare. Per chi segue il deployment on-premise, questo è un caso concreto in cui una singola ottimizzazione sposta l'equilibrio tra hardware, framework e comunità.