Oblio catastrofico negli LLM: una soluzione auto-generata

L'adattamento di modelli linguistici di grandi dimensioni (LLM) a compiti specifici tramite fine-tuning spesso comporta un problema noto come oblio catastrofico: la perdita delle capacità generali del modello. Una nuova ricerca propone SA-SFT, una routine di auto-potenziamento che mira a risolvere questo problema.

SA-SFT: Auto-dialoghi per la resilienza

SA-SFT prevede che l'LLM generi auto-dialoghi prima del fine-tuning. Questi dati auto-generati vengono poi mescolati con i dati specifici del compito. Sorprendentemente, questo approccio non richiede dati esterni o modifiche alle procedure di ottimizzazione e addestramento.

Risultati e implicazioni

I risultati mostrano che SA-SFT mitiga efficacemente l'oblio catastrofico, mantenendo prestazioni paragonabili al modello originale e superando le baseline comuni in molti scenari. L'analisi teorica suggerisce che l'oblio può derivare da una deriva dei parametri indotta dallo stile, e che l'auto-allineamento tramite dati auto-generati contrasta questo effetto. Per chi valuta deployment on-premise, esistono trade-off da considerare; AI-RADAR offre framework analitici su /llm-onpremise per valutare queste opzioni.