AdaFRUGAL: training LLM ottimizzato

Il training di modelli linguistici di grandi dimensioni (LLM) è un'attività estremamente dispendiosa in termini di risorse, soprattutto a causa del sovraccarico di memoria richiesto dallo stato dell'ottimizzatore. Un nuovo framework, chiamato AdaFRUGAL, si propone di risolvere questo problema attraverso una gestione dinamica degli iperparametri.

AdaFRUGAL introduce due controlli dinamici principali:

  • Un decadimento lineare per il rapporto del sottospazio (ρ), che riduce progressivamente la memoria utilizzata.
  • Una pianificazione basata sulla perdita (loss-aware) per la frequenza di aggiornamento (T), che diminuisce il sovraccarico computazionale.

I risultati sperimentali, ottenuti su dataset di pre-training (English C4, Vietnamese VietVault) e fine-tuning (GLUE), dimostrano che AdaFRUGAL raggiunge un ottimo compromesso tra prestazioni, consumo di memoria GPU e tempi di training. Il framework si dimostra competitivo rispetto ad AdamW e FRUGAL statico, offrendo una soluzione più pratica e autonoma per il training di LLM in contesti con risorse limitate.

In sintesi, AdaFRUGAL rappresenta un passo avanti verso un training di LLM più efficiente e accessibile, grazie alla sua capacità di adattarsi dinamicamente alle esigenze del processo di apprendimento.