Apprendimento federato decentralizzato e gestione dell'eterogeneità

L'apprendimento federato decentralizzato (DFL) è un paradigma di machine learning collaborativo senza server, in cui i dispositivi collaborano direttamente per scambiare informazioni sui modelli. Una sfida significativa è l'eterogeneità dei dati e dei modelli, derivante da esperienze individuali variabili e diversi livelli di interazione tra i dispositivi.

DecHW: un nuovo approccio all'aggregazione robusta

Un nuovo studio introduce un approccio innovativo per affrontare questa eterogeneità, concentrandosi sulle variazioni a livello di parametro nei modelli locali. Il metodo proposto cattura queste variazioni e realizza un'aggregazione robusta degli aggiornamenti locali, generando pesi di consenso tramite un'approssimazione delle informazioni di secondo ordine dei modelli locali sui rispettivi dataset. Questi pesi vengono utilizzati per scalare gli aggiornamenti del vicinato prima di aggregarli in una rappresentazione globale del vicinato.

Risultati sperimentali

I risultati sperimentali in attività di computer vision dimostrano una forte capacità di generalizzazione dei modelli locali, ottenuta con costi di comunicazione ridotti.