Poche righe in un commit, un effetto a catena profondo. Con il recente aggiornamento, llama.cpp — il motore C/C++ che ha democratizzato l’esecuzione locale di Large Language Models — integra il supporto a MTP (Multi-Token Prediction) e DSpark per DeepSeek V4 Flash, l’ultima architettura MoE del laboratorio cinese. Non è un tocco cosmetico: è un abilitatore silenzioso che riscrive le regole dell’inference self-hosted.

La predizione multi-token: cosa cambia sotto il cofano

Tradizionalmente, un LLM genera un token alla volta, in sequenza. MTP capovolge questo schema: il modello propone simultaneamente più token successivi, riducendo il numero di passi di decodifica e, di conseguenza, la latenza percepita. Per un’architettura MoE come quella di DeepSeek V4 Flash, dove il routing dinamico tra esperti già impone overhead computazionali, il meccanismo è doppiamente prezioso. DSpark — l’ottimizzazione a livello di runtime — orchestra il parallelismo per sfruttare al meglio la banda delle GPU locali, abbattendo i tempi morti tra un token e l’altro. Il risultato: un throughput che, su hardware consumer di fascia alta, può avvicinarsi a quello delle API cloud, senza uscire dal perimetro aziendale.

Self-hosted non è più un compromesso

L’innesto di MTP su llama.cpp segna un punto di svolta strutturale. Finora, il self-hosted era spesso visto come una scelta di sovranità e controllo — a costo di performance inferiori rispetto ai servizi cloud. L’aggiunta di queste ottimizzazioni per un modello all’avanguardia ribalta l’equazione: la latenza compressa e il migliore sfruttamento della VRAM trasformano il deployment on-premise in un’alternativa competitiva anche sul piano tecnico. Per le realtà che gestiscono dati sensibili — sanità, finanza, pubblica amministrazione — il Total Cost of Ownership può pendere verso l’infrastruttura locale, dove il costo di GPU consumer o workstation (A100, RTX 6000 Ada) si ammortizza su volumi di inference costanti, senza canoni mensili né esposizione a terze parti.

Non è un dettaglio isolato. Llama.cpp è diventato il back-end di riferimento per tool come Ollama e LM Studio, e la sua reattività nel supportare innovazioni di frontiera — dal quantization accelerato alle pipeline modulari — stabilisce un precedente: i framework open-source tengono il passo con i rilasci più avanzati. Ciò modifica gli incentivi per i vendor hardware: i chip per inference locale non sono più una nicchia, ma un segmento in crescita trainato dalla domanda di carichi sempre più pesanti. Parallelamente, i provider cloud perdono il monopolio della bassa latenza, mentre i team legal e compliance possono documentare con precisione dove risiedono i prompt e i risultati.

L’attenzione va però anche agli strati successivi: MTP incide sulla progettazione dei driver CUDA, sulle librerie di serving e sui sistemi di orchestrazione che abbinano più nodi. Chi adotta stack on-premise deve ora valutare se il proprio parco GPU è in grado di trarre vantaggio da queste ottimizzazioni — e se le pipeline di fine-tuning sono pronte a integrare modelli con meccanismi di predizione non sequenziali. La curva di complessità sale, ma la ricompensa è un ambiente di inference che, per la prima volta, non ha nulla da invidiare ai giganti del cloud.