Nuove esplorazioni sulla interpretazione dei neuroni

# Introduzione Gli strumenti di interpretazione dei neuroni sono diventati fondamentali per comprendere il funzionamento delle reti neurali profonde. Tuttavia, pur ottenendo grandi risultati sperimentali, la teoria rimane ancora insoddisfacente. Questo lavoro presenta una prima analisi teorica di due sfide fondamentali: la fedeltà e la stabilità. ## La fedeltà La fedeltà si riferisce alla capacità dell'identificazione dei neuroni di rappresentare in modo fidato il concetto sottostante alla funzione neuronale. Questo è cruciale per garantire che le spiegazioni siano accurate e affidabili. In questo lavoro, analizziamo la possibilità di considerare l'identificazione dei neuroni come processo inverso all'apprendimento automatico. ## La stabilità La stabilità si riferisce alla consistenza delle identificazioni dei neuroni quando utilizzate diverse dataset. Questo è essenziale per garantire che le spiegazioni siano replicabili e affidabili. Proporre una bootstrap ensemble procedure e l'uso del metodo di esplicazione BE (Bootstrap Explanation) ci permette di quantificare la stabilità delle identificazioni. ## Generalization bounds per metriche di somiglianza Deriviamo generalization bounds per metriche di somiglianza comuni, come precisione, AUROC e IoU. Questo ci consente di garantire la fedeltà delle identificazioni. ## Proposta di metodo Proponiamo un nuovo metodo che combina l'analisi teorica con una implementazione pratica per derivare spiegazioni dei neuroni affidabili e stabili. ## Esperimenti I nostri esperimenti su sia dati sintetici che reali validano i risultati teorici e dimostrano la praticità del nostro metodo. Questo lavoro rappresenta un passo importante verso una interpretazione responsabile dei neuroni.

# Introduction Neuron explanation tools have become essential for understanding the functioning of deep neural networks. However, despite achieving great empirical success, theoretical foundations remain absent, which is crucial for ensuring trustworthy and reliable explanations. This work presents a first theoretical analysis of two fundamental challenges: faithfulness and stability. ## Faithfulness Faithfulness refers to the ability of neuron identification to represent the underlying concept faithfully. This is essential for ensuring accurate and reliable explanations. In this work, we analyze the possibility of considering neuron identification as the inverse process of machine learning. ## Stability Stability refers to the consistency of neuron identifications across different datasets. This is crucial for ensuring replicable and reliable explanations. By proposing a bootstrap ensemble procedure and utilizing the BE (Bootstrap Explanation) method, we are able to quantify stability of identifications. ## Generalization bounds for similarity metrics We derive generalization bounds for widely used similarity metrics such as accuracy, AUROC, and IoU. This allows us to ensure faithfulness of identifications. ## Proposed method We propose a new method that combines theoretical analysis with practical implementation to derive neuron explanations that are trustworthy and stable. ## Experiments Our experiments on both synthetic and real data validate theoretical results and demonstrate the practicality of our method. This work represents an important step towards trustworthy neuron interpretation.