Un nuovo approccio ai grafi di conoscenza

Un nuovo studio introduce un'architettura per l'addestramento congiunto di modelli su frasi e dati strutturati, mantenendo distinte le rappresentazioni di conoscenza e linguaggio. Il modello tratta i grafi di conoscenza e gli ipergrafi come istanze strutturate con ruoli predefiniti, codificandoli in un repository chiave-valore.

Architettura del modello

Un trasformatore linguistico accede a questo repository tramite meccanismi di attenzione. L'attenzione è condizionata dal trasporto di ruolo basato sul percorso, che unifica l'attraversamento di grafi di conoscenza con etichette sugli archi, l'attraversamento di iperarchi e la struttura delle frasi. L'architettura prevede un flusso duale, gruppi di livelli gerarchici con attenzione locale all'istanza, al vicinato e al mixing globale, recupero su un repository separato e obiettivi multi-task che comprendono il masked language modeling, la previsione di link e il denoising della coerenza dei ruoli.

Separazione tra contesto linguistico e conoscenza strutturata

Il risultato è una separazione esplicita e ispezionabile tra il contesto linguistico e la conoscenza strutturata, consentendo al contempo un allineamento stretto tramite cross-attention. Questo approccio potrebbe migliorare l'interpretabilità e la controllabilità dei modelli di linguaggio, aprendo nuove strade per applicazioni in cui la comprensione della conoscenza è fondamentale.