Ottantasei miliardi e mezzo di token contro diciotto trilioni. È il primo dato che conta nell'esperimento Apex-2, un modello MoE decoder-only da 3,87 miliardi di parametri totali e 1,45 miliardi attivi per token, addestrato da zero senza riutilizzare pesi esterni. Il checkpoint base ha raggiunto in HumanEval+ lo stesso livello di Qwen2.5-1.5B, un modello addestrato su circa 18 trilioni di token. La differenza di scala è enorme; il segnale tecnico, invece, è più sfumato.

Il codice impara in fretta, la conoscenza no

I benchmark riportati raccontano un profilo netto: HumanEval 43,9, HumanEval+ 41,5, MBPP 56,3, MBPP+ 48,9. Sul codice, Apex-2 regge il confronto con modelli molto più costosi in pre-training. Ma GSM8K si ferma a 32,4, MATH-500 a 21,0 e MMLU a 28,6. Il messaggio è che i pattern sintattici e le procedure del codice si apprendono con meno token rispetto alla conoscenza fattuale e al ragionamento matematico. Un modello può generare codice corretto su benchmark ristretti senza avere la base di conoscenza necessaria per evitare allucinazioni o affrontare problemi di matematica complessi.

Questa separazione ha implicazioni concrete per chi valuta modelli piccoli in produzione. Un MoE con 1,45 miliardi di parametri attivi per token ha un costo di inference per passo potenzialmente inferiore rispetto a un modello denso di pari qualità sul codice, ma la memoria necessaria per ospitare tutti i 3,87 miliardi di parametri non sparisce. In un contesto self-hosted, il vantaggio non è la VRAM occupata dagli esperti, quanto il calcolo attivo per token. Resta il limite dei 4096 token di contesto, che esclude carichi su basi di codice ampie o retrieval esteso. Il checkpoint è disponibile su Hugging Face e si carica con transformers o vLLM tramite il mapping Qwen3MoeForCausalLM.

GH200, DiLoCo e cosa non ha funzionato

L'altro dettaglio di sistema è l'addestramento su GH200, passati da uno a due con DiLoCo. Non è una configurazione da laboratorio domestico, ma è molto lontana dai cluster usati per i modelli da centinaia di miliardi di parametri. Usare due GH200 con comunicazione ridotta indica che il pre-training di un MoE piccolo può essere affrontato anche fuori dai grandi data center cloud, con implicazioni per la sovranità dei dati e per il controllo del ciclo di sviluppo. Non ci sono numeri su consumo energetico o TCO nella fonte; sarebbe un errore leggerli come una prova di convenienza economica. Però la sequenza sperimentale — un ricercatore, 86,5 miliardi di token, due GH200 — sposta l'attenzione dal numero di GPU alla qualità del dato e alla scelta dell'architettura.

Un passaggio altrettanto utile riguarda ciò che non ha funzionato. Il DPO con 220mila coppie e normalizzazione della lunghezza ha prodotto risposte più lunghe e ha peggiorato codice, matematica e IFEval. Il checkpoint è stato scartato. È un dato che merita attenzione perché il DPO viene spesso presentato come un passo quasi gratuito per allineare i modelli. In questo caso ha degradato proprio le capacità su cui Apex-2 era competitivo.

Per chi guarda ai modelli locali e self-hosted, il caso Apex-2 mostra che il percorso da zero su hardware controllato è tecnicamente possibile per modelli specializzati, ma il prezzo in conoscenza generale è alto. Non è un sostituto di un LLM generalista; è un segnale che la corsa al numero di token può essere aggirata per alcuni compiti, non per tutti. AI-RADAR offre framework analitici su /llm-onpremise per valutare i trade-off di deployment on-premise. La domanda aperta resta quanta conoscenza fattuale serva davvero a un modello che deve scrivere codice in un dominio aziendale ristretto.