Il colosso cinese dei video Bilibili ha appena reso open source una serie di modelli linguistici di piccole dimensioni denominata Index-1.9B. Non è una novità che le aziende tecniciche rilascino modelli, ma la mossa di Bilibili si distingue per la trasparenza quasi insolita con cui espone le scelte di addestramento e le varianti, offrendo una risorsa preziosa per chiunque lavori su infrastruttura AI privata.

La famiglia comprende quattro versioni. Index-1.9B-Base è un modello fondativo da 1,9 miliardi di parametri (escludendo gli embedding) addestrato su 2.800 miliardi di token, prevalentemente in cinese e inglese. Index-1.9B-Pure segue la stessa ricetta ma con una pulizia radicale: dal corpus di addestramento sono stati rimossi tutti i dati simili a istruzioni, ottenendo così una base incontaminata, ideale per un fine-tuning personalizzato senza interferenze. Index-1.9B-Chat è la versione allineata tramite fine-tuning supervisionato e ottimizzazione diretta delle preferenze (DPO), pronta per il dialogo. Infine, Index-1.9B-Character estende il modello Chat con generazione potenziata da recupero (RAG) per la personalizzazione del ruolo in scenari few-shot.

Sul fronte tecnico, i ricercatori adottano uno schema di learning-rate Warmup-Stable-Decay, con un innalzamento marcato della concentrazione di dati curati nella fase di decadimento, e un layer di output Norm-Head che stabilizza l’addestramento anche con tassi di apprendimento elevati. Su una batteria di benchmark standard che coprono esami, ragionamento, matematica e codice, Index-1.9B-Base raggiunge un punteggio medio di 64,92, competitivo con o superiore a modelli aperti di dimensioni diverse volte maggiori.

Tra i dettagli più intriganti, il team segnala un picco di prestazioni improvviso e non spiegato a metà della fase a learning-rate costante. Un’anomalia che apre interrogativi scientifici: cosa scatta esattamente nel modello in quel momento? Comprendere quel fenomeno potrebbe portare a una riduzione dei tempi e dei costi di addestramento — un aspetto cruciale per chi vuole addestrare o perfezionare modelli in proprio.

Per chi gestisce deployment on-premise, Index-1.9B rappresenta un tassello in più nella direzione di LLM piccoli ma efficaci. Con meno di 2 miliardi di parametri e una finestra di contesto sufficientemente ampia, il modello può girare su hardware modesto (una GPU consumer con 8 o 12 GB di VRAM in precisione FP16, a seconda della quantization) e consumi energetici contenuti, rendendo concrete le architetture di AI sovrana dove i dati non lasciano mai il perimetro aziendale. Non è solo questione di privacy: è un vantaggio di TCO quando il volume di inference giustifica l’acquisto di macchine dedicate piuttosto che il pagamento per token a un provider cloud.

La variante Pure, in particolare, risponde a un’esigenza diffusa tra le imprese che vogliono fare fine-tuning su dati proprietari (es. manuali interni, cronologia delle chat con i clienti, normative aziendali) senza che il modello erediti bias o formati di risposta provenienti da dataset di istruzioni pubblici, spesso di qualità variabile. Una base pulita abbrevia il ciclo di messa a punto e riduce il rischio di comportamenti indesiderati.

Bilibili non è nota per la ricerca LLM planetaria, eppure questo rilascio si inserisce in un movimento più ampio: la proliferazione di modelli aperti, trasparenti e ottimizzati per l’efficienza, che spostano progressivamente il baricentro dell’innovazione dai mega-modelli cloud-only a soluzioni distribuibili anche in locali server o su edge. Se l’obiettivo è mantenere il controllo completo sull’AI che si utilizza, iniziative come questa forniscono la materia prima — non solo il peso del modello, ma il “libretto di istruzioni” per riprodurlo. E quel picco misterioso a metà addestramento rimane lì, a ricordare che nei meandri dell’ottimizzazione c’è ancora molto da scoprire.

I modelli e il codice di valutazione sono disponibili su GitHub.