Il primo checkpoint non lo vedrete. Dopo un round di fine-tuning locale su AliceAI-80B-A3B-Base, il creatore del progetto ha deciso di non pubblicare la versione 1.0 alpha: tecnicamente funziona, ma produce output confusi appena la richiesta si allontana dagli esempi visti in training. Non è un fallimento hardware, ma una lezione sui dati.

Il progetto usa tre V100 da 32 GB per addestrare un instruct fine-tune di AliceAI-80B-A3B-Base. Per insegnare il chain-of-thought e la conversazione, l'autore impiega un distillato leggero di Qwen 3.8 27B. Tutti i dati di training vengono generati localmente sulle stesse GPU tramite sftmill, un motore di distillazione off-policy rilasciato open source. Il primo dataset da 5 milioni di token era orientato al coding; il modello ha imparato a ragionare in catena di pensiero e a rispondere conversazionalmente, ma non ha coperto abbastanza richieste ambigue.

Il limite non è la VRAM, è la distribuzione dei dati

Qui sta il punto. 5 milioni di token possono sembrare un volume corposo per un fine-tuning, ma se il corpus è sbilanciato verso un dominio specifico il modello non impara a gestire il rumore e le variazioni tipiche delle istruzioni reali. La conseguenza è un underfitting selettivo: i prompt vicini agli esempi funzionano, quelli più distanti producono testo sconnesso. Il checkpoint 1.0 alpha non è rotto, è semplicemente troppo addestrato su una nicchia.

Più ampiezza, non più token

La risposta non è cambiare GPU ma cambiare la composizione dei dati. Il creatore ha portato il generatore sintetico da 80 a circa 240 token/s complessivi, distribuendo il lavoro su tre istanze con quattro worker paralleli ciascuna. Il nuovo dataset, ancora di circa 5 milioni di token, sarà più orientato alle istruzioni generali e il training ripartirà dal checkpoint 1.0 alpha con learning rate ridotto.

C'è un segnale strutturale per chi lavora con LLM on-premise. Negli ambienti locali il vantaggio non è solo privacy e controllo: è anche la possibilità di iterare sul dato senza passare da API esterne. Il rovescio è il collo di bottiglia della generazione sintetica: se la pipeline produce 80 token/s, un dataset ampio richiede tempi lunghi; a 240 token/s i cicli si accorciano, ma il limite resta la varietà dei prompt. Per chi valuta deployment on-premise, i trade-off tra hardware datato, tempo di iterazione e controllo dei dati sono esattamente il terreno analizzato dai framework di AI-RADAR su /llm-onpremise.

Il secondo round dirà se la strategia dei dati più larghi funziona. Nel frattempo il repository sftmill resta pubblico e il creatore ha promesso di condividere il primo checkpoint realmente utilizzabile. Chiunque abbia tre V100 e molta pazienza può seguire lo stesso percorso: il vero lusso non è il modello, è il controllo sulla pipeline.