FlashLM v5 "Thunderbolt": Addestramento su CPU batte GPU

FlashLM v5 "Thunderbolt" rappresenta un'evoluzione significativa nella serie FlashLM, dimostrando che è possibile ottenere risultati competitivi nell'addestramento di modelli linguistici anche utilizzando una CPU.

Risultati

Il modello ha raggiunto una perplexity finale di 1.36 e un BPC (bits per character) di 0.44. L'addestramento è stato eseguito su una CPU AMD Ryzen 7950X3D in circa 40 ore. Il modello ha 29.7 milioni di parametri, di cui 26.5 milioni sono ternari.

Architettura

FlashLM v5 utilizza l'architettura ParallelGatedRecurrence, caratterizzata da:

  • BitLinear con pesi ternari {-1, 0, +1}
  • Parallel gated recurrence con gate di decadimento appresi
  • Assenza di moltiplicazioni di matrici nel forward pass

Confronto con le versioni precedenti

La versione v5 "Thunderbolt" mostra un netto miglioramento rispetto alle versioni precedenti (v4 "Bolt" e v5.2 "Nova-Ignition") in termini di perplexity, BPC e qualità dell'output generato. In particolare, la v5 dimostra una migliore coerenza narrativa, una maggiore diversità di vocabolario e una grammatica più corretta.

Prospettive future

Il progetto FlashLM continuerà con la serie v6, focalizzandosi sulla validazione dell'architettura ParallelGatedRecurrence. Inoltre, verrà avviato un nuovo progetto (Nano-Coder) per applicare le tecniche di FlashLM alla generazione di codice.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.