La notizia è un post su Reddit, ma ciò che racconta ha un sapore più ampio. Dopo aver addestrato Qwen3.5-4B-3D-Coder e la variante per asset GLB, l'autore del progetto ammette di aver sottovalutato la capacità di modelli da 4 miliardi di parametri addestrati per compiti specifici. Non si tratta di un benchmark ufficiale: è un resoconto di esperimenti in corso, con un secondo modello da 350 milioni di parametri ancora in training e risultati ancora disomogenei. Eppure il cambio di prospettiva è già visibile.

I numeri raccontano una storia di vincoli. Il modello da 350M, più debole dei Qwen e con problemi sui contesti lunghi, è partito da loop di ripetizioni e codice incompleto. Dopo più epoche ha iniziato a completare il codice e a generare scene riconoscibili, con generalizzazione sorprendente al di là dei prompt mostrati. Su compiti di coding di media complessità arriva fino a circa 16K token; i modelli specializzati da 4B gestiscono scene molto più complesse e contesti vicini a 96K token. Il punto chiave non è la superiorità del 4B, ma il fatto che il checkpoint migliore non coincide quasi mai con la loss più bassa. Fermarsi a una o due epoche avrebbe dato un'impressione completamente diversa.

La tesi implicita è che il fine-tuning supervisionato (SFT) su dati di alta qualità possa offrire risultati molto buoni a una frazione del costo del reinforcement learning (RL), purché i campioni coprano davvero il dominio. Il costo non sparisce: si sposta sulla creazione e validazione del dataset. Ma una volta costruito, quel dataset è riutilizzabile per dimensioni diverse e per esperimenti multipli, senza richiedere una pipeline RL completa. Questo cambia l'incentivo: il bene scarso non è più solo la potenza di calcolo, ma la qualità dei dati e la capacità di valutare il codice funzionante, non la loss.

Il dettaglio che sposta l'asse sul deployment locale è il vincolo di memoria. I modelli da 350M possono essere sottoposti a fine-tuning completo, non solo LoRA, su GPU con appena 8 GB di VRAM. Con le giuste ottimizzazioni di memoria, l'addestramento può richiedere poche ore per dataset e contesti gestibili; contesti più lunghi e dataset più grandi fanno salire il tempo. La barriera d'ingresso si abbassa: non servono necessariamente cluster cloud per produrre un modello utile su un dominio ristretto. Per team con dati proprietari, vincoli di sovranità o budget limitati, questo riduce la dipendenza da API generiche e sposta i costi verso hardware consumer e cura dei dati.

Chi ci perde è il fornitore cloud che vende inference generica per compiti che un modello locale specializzato può coprire. Chi ci guadagna sono i team che possiedono dataset verticali e possono iterare senza mandare prompt fuori dalla propria infrastruttura. Il fenomeno segnala anche una direzione per gli strumenti: servono metodi di valutazione funzionale dei checkpoint, perché la loss non basta, e pipeline di data curation capaci di generare dataset riutilizzabili. L'idea che i modelli più grandi siano sempre necessari per i compiti pratici, insomma, comincia a mostrare crepe non solo teoriche, ma sperimentali.

L'autore prevede di rilasciare nuovi modelli e dataset, compreso il dataset 3D espanso; se il modello da 350M continuerà a migliorare fino a un livello soddisfacente, verrà pubblicato. Per chi valuta deployment on-premise, restano da pesare i trade-off tra costi di training, qualità del dataset e manutenzione dei modelli; AI-RADAR ne discute su /llm-onpremise. Ma il messaggio più interessante è un altro: la scala non spiega tutto, e il fine-tuning su dati specifici può valere più di molti parametri aggiuntivi.