Transfer Learning Multi-Source: Un Nuovo Approccio

Il transfer learning è una tecnica fondamentale per migliorare le prestazioni dei modelli, specialmente in scenari con dati limitati. Un nuovo studio introduce un framework teorico chiamato Unified Optimization of Weights and Quantities (UOWQ) per affrontare le sfide del transfer learning multi-source.

Ottimizzazione Congiunta di Pesi e Quantità

UOWQ formula il transfer learning multi-source come un problema di stima dei parametri, basato su un'analisi asintotica di una misura di errore di generalizzazione basata sulla divergenza di Kullback-Leibler. Il framework determina congiuntamente i pesi ottimali delle sorgenti e le quantità di trasferimento ottimali per ciascuna attività sorgente.

Risultati Teorici e Algoritmi Pratici

L'analisi dimostra che l'utilizzo di tutti i campioni sorgente disponibili è sempre ottimale, una volta che i pesi sono stati regolati correttamente. Lo studio fornisce anche soluzioni in forma chiusa per il caso di una singola sorgente e sviluppa una procedura numerica basata sull'ottimizzazione convessa per il caso multi-source. Sulla base dei risultati teorici, sono stati sviluppati algoritmi pratici per il transfer learning multi-source e il multi-task learning.

Validazione Empirica

Esperimenti su set di dati reali, come DomainNet e Office-Home, dimostrano che UOWQ supera costantemente le baseline più solide, convalidando sia le previsioni teoriche che l'efficacia pratica del framework.