Transformer e grafi: un nuovo approccio

I Transformer hanno dimostrato la loro efficacia nell'apprendimento su grafi, in particolare per attività a livello di nodo. Tuttavia, i metodi esistenti spesso incontrano un collo di bottiglia informativo quando si tratta di generare rappresentazioni a livello di grafo. Il paradigma prevalente del singolo token non sfrutta appieno la potenza dell'auto-attenzione nell'codifica delle sequenze di token, riducendosi a una somma ponderata di segnali dei nodi.

Serializzazione dei token per una migliore rappresentazione

Per affrontare questa problematica, è stato sviluppato un nuovo paradigma di token serializzati, progettato per incapsulare i segnali globali in modo più efficace. Questo metodo prevede la serializzazione del grafo per aggregare i segnali dei nodi in token serializzati, con l'inclusione automatica del positional encoding. Successivamente, vengono applicati strati di auto-attenzione per codificare questa sequenza di token e catturare le sue dipendenze interne.

Modellando interazioni complesse tra più token del grafo, questo approccio permette di ottenere rappresentazioni più espressive. I risultati sperimentali dimostrano che il metodo raggiunge performance all'avanguardia su diversi benchmark a livello di grafo. Studi di ablazione ne confermano l'efficacia.