CSyMR: Valutare il ragionamento musicale simbolico compositivo con LLM

I modelli linguistici di grandi dimensioni (LLM) vengono sempre più utilizzati nel ragionamento musicale simbolico. Tuttavia, i benchmark esistenti si concentrano spesso su conoscenze isolate o analisi atomiche, piuttosto che sul ragionamento compositivo integrativo necessario per collegare le strutture musicali.

Per affrontare questa limitazione, è stato presentato il Compositional Symbolic Music Reasoning Benchmark (CSyMR-Bench), un set di dati curato di domande a scelta multipla derivate da forum di esperti ed esami professionali. Ogni domanda richiede la combinazione di diverse analisi atomiche per arrivare alla risposta finale.

Inoltre, è stato introdotto un framework di agent potenziato da tool che sfrutta gli strumenti di analisi musicale simbolica della libreria music21 per affrontare le sfide poste da CSyMR-Bench. Gli esperimenti hanno convalidato che CSyMR-Bench pone una sfida non banale sia per le domande provenienti dalla comunità che per quelle in stile esame, mentre l'agent potenziato da tool ha costantemente sovraperformato tutte le baseline, ottenendo guadagni di accuratezza assoluta del 5-7%.

Questo lavoro rappresenta un passo avanti significativo nella valutazione e nel miglioramento delle capacità di ragionamento musicale degli LLM, aprendo nuove strade per l'integrazione di strumenti di analisi musicale nel processo di ragionamento.