Le reti neurali profonde ReLU (Rectified Linear Unit) presentano simmetrie funzionali complesse: architetture e parametri (pesi e bias) anche molto diversi possono implementare la stessa funzione.

Identificazione Completa

Un nuovo studio si concentra sul problema dell'identificazione completa: data una funzione f, derivare l'architettura e i parametri di tutte le reti ReLU feedforward che la generano. Il metodo proposto traduce le reti ReLU in formule della logica di Lukasiewicz, effettuando trasformazioni di rete funzionalmente equivalenti attraverso riscritture algebriche governate dagli assiomi della logica stessa.

Analogie con Shannon

Viene proposta una forma normale composizionale per facilitare la mappatura dalle formule logiche di Lukasiewicz alle reti ReLU. Utilizzando il teorema di completezza di Chang, si dimostra che per ogni classe di equivalenza funzionale, tutte le reti ReLU in quella classe sono connesse da un insieme finito di simmetrie corrispondenti all'insieme finito di assiomi della logica di Lukasiewicz. Questa idea richiama il lavoro di Shannon sulla progettazione di circuiti di commutazione, dove i circuiti vengono tradotti in formule booleane e la sintesi viene effettuata mediante riscrittura algebrica governata dagli assiomi della logica booleana.