Inferenza adattiva e interpretabilità nelle reti neurali

Le reti neurali early-exit offrono la possibilità di effettuare predizioni a livelli intermedi, riducendo i costi computazionali. Tuttavia, spesso queste uscite anticipate mancano di interpretabilità e possono concentrarsi su caratteristiche diverse rispetto ai livelli più profondi, limitando la fiducia e la spiegabilità.

Explanation-Guided Training (EGT): un nuovo approccio

Un nuovo studio introduce Explanation-Guided Training (EGT), un framework multi-obiettivo che mira a migliorare l'interpretabilità e la consistenza nelle reti early-exit attraverso la regolarizzazione basata sull'attenzione. EGT introduce una perdita di consistenza dell'attenzione che allinea le mappe di attenzione delle uscite anticipate con l'uscita finale.

Risultati sperimentali

I risultati ottenuti su un dataset di classificazione di immagini reale dimostrano che EGT raggiunge un'accuratezza complessiva fino al 98.97% (corrispondente alle prestazioni di base) con un'accelerazione dell'inferenza di 1.97x grazie alle uscite anticipate, migliorando al contempo la consistenza dell'attenzione fino al 18.5% rispetto ai modelli di base. Il metodo proposto fornisce spiegazioni più interpretabili e coerenti tra tutti i punti di uscita, rendendo le reti early-exit più adatte per applicazioni di intelligenza artificiale spiegabile in ambienti con risorse limitate.