Oltre l'accuratezza: un nuovo approccio alla valutazione dei modelli

La valutazione dei modelli di linguaggio basata esclusivamente sull'accuratezza può essere fuorviante, specialmente in scenari con dati limitati. Un nuovo studio introduce un approccio simbolico-meccanicistico per una valutazione più interpretabile.

Valutazione simbolico-meccanicistica

Questo metodo combina regole simboliche rilevanti per il compito con l'interpretabilità meccanicistica. L'obiettivo è generare punteggi di superamento/fallimento algoritmici che mostrino esattamente dove i modelli generalizzano o sfruttano pattern specifici. Questo approccio è particolarmente utile per smascherare modelli che si affidano a memorizzazione o euristiche fragili.

Esempio NL-to-SQL

I ricercatori hanno dimostrato l'efficacia del metodo su un compito di traduzione da linguaggio naturale a SQL (NL-to-SQL). Hanno addestrato due architetture identiche in condizioni diverse: una senza informazioni sullo schema (favorendo la memorizzazione) e una con lo schema (consentendo il grounding). La valutazione standard ha mostrato che il modello di memorizzazione raggiungeva un'accuratezza del 94% sui nomi dei campi in dati non visti, suggerendo falsamente competenza. Tuttavia, la valutazione simbolico-meccanicistica ha rivelato che questo modello violava le regole fondamentali di generalizzazione dello schema, un fallimento invisibile alle metriche di accuratezza tradizionali.

Per chi valuta deployment on-premise, esistono trade-off tra accuratezza e interpretabilità che AI-RADAR analizza in dettaglio su /llm-onpremise.