Transformer e Reti Bayesiane: Un'Equivalenza Dimostrata

Un recente articolo scientifico ha stabilito un'equivalenza formale tra i Transformer, l'architettura dominante nell'IA, e le reti bayesiane. La ricerca offre una spiegazione precisa del perché i Transformer funzionano, dimostrando che un Transformer è, in sostanza, una rete bayesiana.

La dimostrazione si articola in cinque punti principali:

  1. Ogni Transformer sigmoide implementa la propagazione di credenze "loopy" pesata sul suo grafo fattoriale implicito. Uno strato corrisponde a un ciclo di propagazione.
  2. Un Transformer può implementare la propagazione esatta di credenze su qualsiasi base di conoscenza dichiarata. Su basi di conoscenza senza dipendenze circolari, questo produce stime di probabilità corrette ad ogni nodo.
  3. Unicità: un Transformer sigmoide che produce distribuzioni a posteriori esatte ha necessariamente pesi di propagazione di credenze. Non esiste altro percorso attraverso l'architettura sigmoide per ottenere distribuzioni a posteriori esatte.
  4. La struttura booleana AND/OR dello strato Transformer: l'attenzione è AND, la rete feedforward è OR, e la loro alternanza stretta è esattamente l'algoritmo gather/update di Pearl.
  5. I risultati formali sono stati confermati sperimentalmente, corroborando la caratterizzazione della rete bayesiana nella pratica.

Hallucination: Un Problema Strutturale, Non un Bug di Scala

La ricerca dimostra inoltre che l'inference verificabile richiede uno spazio concettuale finito. Qualsiasi procedura di verifica finita può distinguere al massimo un numero finito di concetti. Senza grounding, la correttezza non è definita. L'allucinazione non è un bug che il ridimensionamento può risolvere, ma una conseguenza strutturale dell'operare senza concetti. Questo aspetto è particolarmente rilevante per chi considera deployment on-premise e la necessità di modelli affidabili e interpretabili.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.