PLDR-LLM e ragionamento emergente

Un recente studio pubblicato su arXiv presenta i PLDR-LLM (Pretrained Language Models with Deductive Reasoning), modelli linguistici di grandi dimensioni addestrati in condizioni di criticità auto-organizzata. La ricerca indica che questi modelli sono in grado di esibire capacità di ragionamento durante la fase di inference.

Criticità e transizioni di fase

Le caratteristiche delle consegne deduttive dei PLDR-LLM in condizioni critiche mostrano similarità con le transizioni di fase del secondo ordine. In tali condizioni, la lunghezza di correlazione diverge e le consegne deduttive raggiungono uno stato stazionario metastabile. Questo comportamento suggerisce che i modelli apprendono rappresentazioni equivalenti a funzioni di scala, classi di universalità e gruppi di rinormalizzazione dai dati di addestramento, portando a capacità di generalizzazione e ragionamento.

Parametri d'ordine e capacità di ragionamento

Lo studio definisce un parametro d'ordine basato sulle statistiche globali dei parametri di output deduttivo del modello durante l'inference. Le capacità di ragionamento di un PLDR-LLM risultano superiori quando il suo parametro d'ordine è prossimo allo zero in condizioni critiche. Questa osservazione è supportata dai risultati dei benchmark ottenuti dai modelli addestrati in condizioni prossime alla criticità e sub-critiche.

Implicazioni

I risultati forniscono una spiegazione autonoma di come il ragionamento si manifesta nei modelli linguistici di grandi dimensioni. Inoltre, la capacità di ragionare può essere quantificata unicamente dai valori globali dei parametri del modello allo stato stazionario, senza la necessità di valutare set di dati di riferimento curati attraverso l'output induttivo per il ragionamento e la comprensione.