L'Algoritmo Forward-Forward e la Sfida della Funzione di "Goodness"

L'algoritmo Forward-Forward (FF) si presenta come una promettente alternativa alla tradizionale backpropagation per l'addestramento delle reti neurali. Caratterizzato da una plausibilità biologica, il metodo FF opera addestrando la rete strato per strato, utilizzando una funzione di "goodness" locale per distinguere i dati "positivi" da quelli "negativi". Fin dalla sua introduzione, la funzione "sum-of-squares" (SoS) ha rappresentato la scelta predefinita per questa valutazione.

Tuttavia, la ricerca ha iniziato a esplorare in modo sistematico lo spazio di design delle funzioni di "goodness", analizzando sia quali attivazioni misurare sia come aggregarle. Questa indagine è cruciale per ottimizzare l'efficacia e l'efficienza dell'addestramento delle reti neurali, specialmente in contesti dove le risorse computazionali possono essere un vincolo.

Innovazioni nella Misurazione Selettiva e Sparsità Adattiva

Un'innovazione significativa è l'introduzione della "top-k goodness", una funzione che valuta solo i k neuroni più attivi all'interno di uno strato. Questo approccio selettivo ha dimostrato di superare sostanzialmente la funzione SoS, portando a un miglioramento dell'accuratezza del 22,6 punti percentuali sul dataset Fashion-MNIST. Ulteriori progressi sono stati ottenuti con l'introduzione dell'"entmax-weighted energy", che sostituisce la selezione rigida "top-k" con una ponderazione sparsa apprendibile, basata sulla trasformazione alpha-entmax, garantendo guadagni aggiuntivi in termini di performance.

Parallelamente, è stata adottata la tecnica "separate label feature forwarding" (FFCL), che inietta le ipotesi di classe a ogni strato attraverso una proiezione dedicata, anziché concatenarle solo all'input. La combinazione di queste idee – "top-k goodness", "entmax-weighted energy" e FFCL – ha permesso di raggiungere un'accuratezza dell'87,1% su Fashion-MNIST con un'architettura 4x2000, un miglioramento di 30,7 punti percentuali rispetto alla baseline SoS, ottenuto modificando unicamente la funzione di "goodness" e il percorso delle etichette.

Il Ruolo Critico della Sparsità nel Design delle Reti FF

Attraverso una serie di esperimenti controllati, che hanno coinvolto 11 diverse funzioni di "goodness", due architetture e un'analisi dello spettro di sparsità sia per k che per alpha, è emerso un principio fondamentale: la sparsità nella funzione di "goodness" rappresenta la scelta di design più importante nelle reti Forward-Forward.

In particolare, la ricerca ha evidenziato che una sparsità adattiva, con un valore di alpha approssimativamente pari a 1.5, offre prestazioni superiori rispetto sia alle alternative completamente dense che a quelle completamente sparse. Questo suggerisce che non è la semplice riduzione del numero di neuroni attivi a essere cruciale, ma piuttosto la capacità di selezionare dinamicamente e ponderare le attivazioni più rilevanti.

Implicazioni per l'Efficienza e i Deployment AI

Questi sviluppi nell'algoritmo Forward-Forward hanno implicazioni significative per l'efficienza dei sistemi di intelligenza artificiale. Miglioramenti algoritmici fondamentali come la "top-k goodness" e la sparsità adattiva possono potenzialmente ridurre i requisiti computazionali per l'addestramento e l'inference dei modelli. Questo è particolarmente rilevante per le organizzazioni che considerano deployment on-premise o in ambienti edge, dove le risorse hardware sono spesso limitate e il TCO è un fattore determinante.

La capacità di ottenere prestazioni superiori con un'attivazione più sparsa potrebbe tradursi in un minore consumo di VRAM, un throughput più elevato o una latenza ridotta, rendendo i modelli più accessibili e sostenibili. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per valutare i trade-off tra efficienza algoritmica, requisiti hardware e costi operativi, contribuendo a decisioni informate per carichi di lavoro AI/LLM.