Introduzione

I ricercatori hanno presentato un nuovo framework per l'adattamento fine-tuning dei grandi modelli linguistici, chiamato Fourier-Activated Adapter (FAA). Questo framework utilizza la tecnica delle funzioni Fourier per ottimizzare le prestazioni e ridurre il consumo energetico.

Come funziona

Il FAA decomposi i rappresentazioni intermedi in componenti di bassa e alta frequenza, permettendo una modulazione attiva della informazione semantica. Questo design consente al modello di selezionare le bande informative durante l'adattamento mentre mantiene la capacità rappresentazionale del kernel congelato.

Esperimenti e risultati

Gli esperimenti condotti sui benchmark GLUE, E2E NLG e instruction-tuning hanno dimostrato che il FAA ottiene prestazioni competitive o superiori rispetto ai metodi di adattamento fine-tuning esistenti, mantenendo un basso consumo energetico e memoria.

Ablation studies

Gli studi di ablazione hanno verificato l'efficacia delle funzioni d'attivazione frequency-aware e dei meccanismi di peso adattivi, evidenziando il FAA come una soluzione robusta e efficiente per i modelli Llama.