La pull request 29761 nel repository di llama.cpp riapre di fatto il cantiere MTP per Qwen Flash Next. Chi sta già sperimentando multi-token prediction con questo modello può passare alle quantizzazioni GGUF pubblicate da ggml-org su Hugging Face e seguire il lavoro ancora aperto. Il contributore jacek2023 ha segnalato il cambio, con l'avvertenza esplicita che si tratta di codice wip.

MTP non è una semplice ottimizzazione. In un LLM il decoding classico produce un token alla volta; prevederne più di uno per passo riduce il numero di iterazioni sequenziali e può abbattere la latenza percepita, soprattutto quando il modello deve generare testo lungo. Su hardware locale il vantaggio non è scontato: il costo aggiuntivo in calcolo e memoria può erodere parte del guadagno se il modello o la GPU non riescono a sostenere il carico extra. È qui che entra in gioco la combinazione con GGUF e llama.cpp.

Le quantizzazioni GGUF riducono l'ingombro in VRAM e la pressione sulla banda di memoria. Se MTP aumenta il lavoro per passo, una quantization ben tarata può mantenere il bilancio favorevole su schede consumer o workstation senza dover cambiare hardware. Per chi valuta deployment self-hosted, questo è il tipo di leva che incide sul TCO: non si tratta di aggiungere GPU, ma di estrarre più token utili dallo stesso ferro.

Il punto critico è la maturità. La pull request è esplicitamente wip, quindi il comportamento può cambiare tra una revisione e l'altra e non ci si deve aspettare stabilità da produzione. È un dettaglio che separa la sperimentazione locale dall'adozione in ambienti dove la latenza prevedibile è un requisito. Chi usa llama.cpp in produzione difficilmente adotterà questa build senza test approfonditi; chi invece fa benchmarking o prototipazione può già osservare se MTP porta benefici sul proprio carico di lavoro.

La riapertura del cantiere segnala una direzione più ampia. Le tecniche di decoding speculativo e multi-token prediction stanno scivolando dai laboratori dei grandi provider verso gli stack aperti e locali con tempi sorprendentemente brevi. Non è una questione di soli modelli: il supporto nel runtime arriva prima che la tecnica diventi un'opzione standard nei servizi cloud. Per gli operatori on-premise questo significa un accesso anticipato a miglioramenti di efficienza, ma anche la responsabilità di filtrare codice giovane e documentazione non definitiva.

La strada è aperta, non asfaltata.