Quanto è grande abbastanza per girare sulla tua GPU? Per anni, la risposta è stata «non troppo». Poi sono arrivati i Mixture of Experts, i quantizzati a 2-bit e il decoding speculativo. E ora, con l’ultimo aggiornamento di llama.cpp, la domanda si fa ancora più sfumata: perché il modello Hy3 di Tencent, un mostro da 299 miliardi di parametri totali, entra nel repertorio degli strumenti locali.

Se avete familiarità con llama.cpp, sapete che non si limita a prendere i modelli e sbatterli su CPU. Il progetto ha affinato negli anni un arsenale di ottimizzazioni che trasformano hardware consumer in piattaforme di inference credibili. Ma l’inclusione di Hy3 non è una semplice aggiunta: è un banco di prova per la predizione multi-token (MTP) usata come motore di speculative decoding. Il modello, un Mixture of Experts con 80 strati più un livello MTP, viene ora eseguito con una pipeline dove la testa MTP funge da draft model. Invece di prevedere un singolo token, questa genera simultaneamente più token futuri, che vengono verificati in parallelo dalla rete principale. Il risultato è un throughput più elevato e una latenza percepita inferiore, senza dover caricare un modello draft separato.

Per i deployment on-premise, la combinazione è potenzialmente dirompente. Con 299 miliardi di parametri totali, ma solo una frazione attiva per token grazie al routing degli esperti, Hy3 richiede memoria significativa per ospitare l’intero checkpoint (nell’ordine di centinaia di gigabyte in formato GGUF), ma il carico computazionale per inference è governato dal numero di esperti attivati. Su sistemi con RAM condivisa ampia – come le workstation Apple Silicon con 192 GB di memoria unificata – o su configurazioni multi-GPU, il modello diventa gestibile. L’accelerazione offerta dal MTP speculative decoding aiuta a compensare i limiti di banda della memoria, rendendo utilizzabile il modello anche dove il throughput altrimenti sarebbe proibitivo.

Questo sviluppo segnala un cambiamento strutturale. La capacità di eseguire un LLM di taglia «cloud» interamente in locale erode il vantaggio dei provider centralizzati, non solo sul fronte dei costi (il TCO di hardware dedicato può risultare inferiore alle chiamate API su volumi elevati), ma soprattutto su quello della sovranità dei dati. Per aziende che gestiscono dati sensibili sotto regimi come il GDPR, avere una via praticabile per l’inference air-gapped su modelli di frontiera non è più fantascienza. E il fatto che a spingere questa evoluzione sia un progetto open source come llama.cpp – e non una big tech – conferma una tendenza: l’aggregatore principale per l’inference indipendente sta diventando il codice comunitario, non il servizio a pagamento.

La pull request #25395, come innumerevoli altre, è il prodotto di uno sforzo distribuito che continua a erodere il fossato dei grandi fornitori di AI. Hy3, con il suo decoding speculativo innestato direttamente nell’architettura, è l’ultimo mattone di un muro che si alza attorno all’idea di sovranità computazionale.