Fine-tuning continuo con task retrieval accurato

Un nuovo studio pubblicato su arXiv presenta un metodo innovativo per il fine-tuning continuo di modelli pre-addestrati. L'obiettivo è adattare un modello a nuovi task in sequenza, mantenendo al contempo le performance sui task precedenti, per i quali i dati non sono più disponibili.

L'approccio proposto combina i vantaggi di due categorie esistenti: input-adaptation e parameter-adaptation. I metodi di input-adaptation si basano sul recupero dei prompt più rilevanti in fase di test, ma richiedono un apprendimento continuo di una funzione di retrieval, soggetta a dimenticanza. I metodi di parameter-adaptation, invece, utilizzano una funzione di embedding fissa per consentire una previsione senza retrieval ed evitare la dimenticanza, ma sacrificano l'adattabilità della rappresentazione.

La nuova tecnica introduce un metodo di parameter-adaptation che consente l'uso adattivo degli embedding di input durante il test con retrieval senza parametri. Vengono derivati error bounds per il task retrieval basato su clustering, fornendo garanzie teoriche che collegano un basso errore di retrieval alle proprietà strutturali dei cluster di rappresentazione specifici per il task. Questo rivela una nuova prospettiva su come una struttura di clustering ben organizzata consenta un retrieval affidabile.

Il metodo è progettato con due componenti chiave: (i) una strategia di composizione di moduli adattivi che apprende aggiornamenti specifici per il task per preservare e integrare la conoscenza precedente e (ii) un meccanismo di retrieval basato su clustering che cattura firme di rappresentazione distinte per ogni task, consentendo l'uso adattivo della rappresentazione in fase di test. Esperimenti estesi dimostrano che questi componenti lavorano in sinergia per migliorare il retrieval e le performance predittive in caso di ampi cambiamenti nella semantica del task.