Un anno fa, Hayk Grigorian ha iniziato a pre-addestrare modelli linguistici usando esclusivamente testi della Londra del XIX secolo. Oggi il progetto TimeCapsuleLLM ha raggiunto una tappa significativa: un dataset da 40 miliardi di token, pari a 160 gigabyte di documenti in inglese datati tra il 1800 e il 1875, provenienti da Inghilterra e Stati Uniti. Su un campione di 5 miliardi di token, Grigorian ha già addestrato da zero un modello di valutazione da 500 milioni di parametri, poi affinato con domande e risposte sintetiche generate a partire dagli stessi testi storici.

Il risultato, disponibile su Hugging Face e GitHub, è un LLM in grado di rispondere a quesiti su personaggi, luoghi ed eventi dell’epoca, con una marcia in più sui contenuti londinesi. Le prestazioni sono ancora acerbe — il modello è solo una prova tecnica — ma secondo l’autore i risultati fanno ben sperare per un futuro addestramento su scala piena con un modello da 2 miliardi di parametri. Un esempio concreto? La ricetta del plum pudding generata dalla versione attuale è, nelle parole di Grigorian, «folle»: meglio sperare che la versione più grande non suggerisca di mescolare con i piedi.

Al di là della curiosità storica, TimeCapsuleLLM segnala qualcosa di più ampio per chi si occupa di deployment on-premise. Addestrare un modello linguistico da zero su un corpus specializzato è un’operazione che, con modelli di dimensioni contenute, può essere condotta interamente su hardware di proprietà, senza inviare dati a fornitori cloud. Questo significa conservare il pieno controllo sull’intera pipeline: dalla selezione delle fonti alla messa in produzione, passando per il fine-tuning su compiti specifici. Per enti culturali, archivi o organizzazioni che gestiscono patrimoni testuali sensibili, la prospettiva è concreta: un LLM su misura, addestrato su server locali, capace di interrogare documenti senza che una singola parola esca dal perimetro aziendale.

Il progetto mostra anche la fattibilità tecnica: un modello da 500 milioni di parametri può essere addestrato in tempi ragionevoli su una singola GPU di fascia consumer, ad esempio una NVIDIA RTX 3090 o 4090 con 24 GB di VRAM, e il dataset da 40 miliardi di token è gestibile con storage economico. Il costo totale (TCO) di un’operazione del genere, escludendo il lavoro umano di curatela, si misura in poche migliaia di euro di hardware, un ordine di grandezza inferiore rispetto all’affitto di istanze cloud equivalenti per training prolungati. Naturalmente, scalare a modelli da 2 miliardi di parametri richiede più memoria e tempo, ma rimane alla portata di workstation con più GPU o di server con memoria unificata.

L’iniziativa si inserisce in una corrente più vasta: la costruzione di LLM “artigianali” addestrati su corpora di nicchia, dai testi giuridici ai manoscritti medievali. Per chi valuta il trade-off tra controllo, costo e qualità, AI-RADAR offre framework analitici su /llm-onpremise per orientarsi nelle scelte di deployment. TimeCapsuleLLM ricorda che la sovranità sui dati non è un miraggio, ma una pratica concreta, anche per chi lavora da solo con testi di due secoli fa.