Per chi ancora associa l’addestramento di un LLM a budget da grande impresa e cluster di GPU irraggiungibili, il progetto condiviso su GitHub dallo sviluppatore Nicolas (nickname SevereTilt) suona come un campanello d’allarme al contrario. Con circa 200 dollari spesi su vast.ai — tra noleggio di GPU consumer e H100 — ha portato un modello da 1,1 miliardi di parametri da zero fino a un chatbot funzionante, pubblicando poi codice, pesi e una demo su CPU.

La pipeline tecnica è lineare ma istruttiva. L’architettura riprende quella di Gemma3 con alcune modifiche mirate a contenere la complessità: contesto ridotto a 4096 token (niente sliding window attention), vocabolario da 32k addestrato con SentencePiece, iperparametri ritoccati per centrare il numero di parametri desiderato. Il pretraining ha usato il dataset FineWeb-Edu su 20 miliardi di token, scelti con uno stratagemma interessante: dati antecedenti il 2023, così da poter interrogare il modello su eventi “futuri” e valutarne la coerenza. La fase di chat è stata ottenuta con un fine-tuning LoRA su OpenHermes.

La vera notizia non è la qualità del modello — che lo stesso autore definisce inferiore a Gemma3 1B e a NanoChat — ma la traiettoria di costo e hardware. Le prime run esplorative sono state fatte su una RTX 3090 (185 milioni di parametri, 19 ore) e su una RTX 5090 (500 milioni, 17 ore). Il salto al miliardo di parametri ha richiesto una H100: 13 ore per 2 miliardi di token, poi 130 ore per i 20 miliardi finali. Il fine-tuning LoRA è stato eseguito su una modesta RTX 3060 in 52 ore. In totale, una spesa di circa 200 dollari — tariffa di febbraio/marzo, probabilmente più alta oggi a causa della domanda di GPU.

L’esperimento non si ferma al cloud. Lo sviluppatore ha compilato un fork di llama.cpp per supportare le differenze architetturali, ha quantizzato il modello in formato GGUF Q2_K e lo ha fatto girare su un orologio WearOS a circa 2 token al secondo. Ha anche deployato un sito demo su Google Cloud Platform usando solo CPU e i file GGUF, per analizzare le logprobs del modello base e offrire la chat. Il tutto conferma che l’inference di un LLM, anche dopo un training da terzi, può vivere interamente su hardware di proprietà o a basso consumo.

Questo caso non isolato ridisegna gli incentivi per chi valuta deployment on-premise o edge. Se un individuo con 200 dollari e competenze solide può costruire un assistente linguistico che non esce mai dal perimetro di fiducia, il calcolo del TCO per le aziende cambia: non serve più un fornitore cloud per ogni iterazione. La sovranità dei dati smette di essere un lusso e diventa una scelta progettuale concreta, anche per team piccoli o ambienti air-gapped.

Certo, restano limiti evidenti. La qualità del modello è modesta, il contesto di 4096 token è stretto per molti casi d’uso reali, e il costo dell’addestramento è sensibile alle fluttuazioni del mercato GPU. Ma ciò che segnala questa storia è strutturale: la commoditizzazione del training sta spostando il valore dalla potenza bruta alla capacità di orchestrare dati, pipeline e deployment. La distanza tra un esperimento personale e un prodotto minimo funzionante si è accorciata in modo irreversibile.