Introduzione

I modelli di linguaggio grandi hanno dimostrato di essere in grado di imparare strutture complesse nelle loro rappresentazioni spaziali. Ma cosa succede quando si cerca di catturare la struttura cognitiva più alta all'interno di queste rappresentazioni? Una nuova ricerca ha scoperto che i modelli di linguaggio grandi possono codificare una gerarchia geometrica che corrisponde a attributi psicologici umani.

Metodologia

La ricerca è stata condotta utilizzando un dataset di 480 frasi naturali annotate con punteggi ordinali continuui e etichette discrete per sette categorie ordinate cognitive. I ricercatori hanno utilizzato i modelli di linguaggio grandi per costruire le rappresentazioni spaziali delle frasi e hanno valutato la decodificabilità delle annotazioni utilizzando probe lineari e superficiali.

Risultati

I risultati mostrano che sia i punteggi ordinali continuui che le etichette discrete sono decodificabili con una certa affidabilità, con le probe superficiali che offrono prestazioni superiori alle probe lineari. Le basi TF-IDF lexicali hanno ottenuto risultati molto peggiori, indicando che la struttura osservata non può essere attribuita solo alle statistiche superficiali delle parole.

Discussione

I risultati sono stati confermati anche dai test di permutazione non parametrici, che hanno mostrato che le prestazioni dei probe superano casualità sotto nullipotenze di randomizzazione delle etichette. Le analisi qualitative utilizzando visualizzazioni UMAP e matrici di confusione hanno rivelato gradienti a gradini bassi e confusioni principalmente tra tier adiacenti nelle rappresentazioni spaziali.

Conclusioni

In sintesi, i modelli di linguaggio grandi sembrano esibire una struttura geometrica gerarchica che corrisponde a attributi psicologici umani. Questo risultato apre nuove prospettive per l'analisi della cognizione e la comprensione delle rappresentazioni spaziali utilizzate dai modelli di linguaggio grandi.