SOSM: un nuovo approccio ai modelli linguistici

Un ricercatore ha reso disponibile il codice sorgente del progetto Self-Organizing State Model (SOSM), un'iniziativa di ricerca rimasta incompiuta a causa di impedimenti personali. L'obiettivo è quello di ricevere feedback tecnico, critiche costruttive e, potenzialmente, trovare qualcuno interessato a continuare lo sviluppo del progetto.

SOSM si propone come alternativa all'architettura Transformer, sfruttando un sistema basato su grafi anziché sulla tradizionale attenzione densa. Il modello separa la rappresentazione semantica dall'apprendimento di pattern temporali e introduce un meccanismo gerarchico di attribuzione per migliorare l'interpretabilità.

Componenti chiave di SOSM

L'architettura di SOSM è modulare e si basa su diversi componenti:

  • Modulo di rappresentazione semantica (MU): Gestisce la rappresentazione del significato.
  • Apprendimento temporale (TEMPORAL): Modella la progressione della sequenza e il flusso del contesto.
  • Sistema gerarchico K-1 di auto-apprendimento: Fornisce interpretabilità, consentendo l'analisi delle predizioni.

Un modello più efficiente

Diversamente dai Transformer che confrontano ogni token con tutti gli altri, SOSM utilizza un meccanismo di connessione basato su grafi. Questo approccio limita il calcolo ai soli token più rilevanti, consentendo un ragionamento selettivo e una maggiore efficienza. Il ricercatore invita la comunità a fornire feedback e a valutare il potenziale di SOSM, sperando che possa essere utile per ulteriori ricerche o sviluppi.