ChiEngMixBench: un nuovo benchmark per il code-mixing

La pratica del code-mixing, ovvero la commistione di lingue diverse all'interno di una stessa frase o conversazione, è sempre più diffusa nelle interazioni tra esseri umani e modelli linguistici di grandi dimensioni (LLM). Tuttavia, gli approcci esistenti spesso riducono questo fenomeno a un semplice problema di traduzione, rendendo difficile valutare se il comportamento di commutazione linguistica di un modello sia appropriato al contesto e in linea con le convenzioni umane.

Per affrontare questa lacuna, è stato introdotto ChiEngMixBench, il primo benchmark progettato specificamente per valutare la capacità di code-mixing in contesti comunitari autentici. Questo strumento si basa su una pipeline di costruzione generale che consente lo sviluppo scalabile di dataset in diversi domini e coppie di lingue.

Spontaneità e naturalezza come metriche chiave

ChiEngMixBench considera il code-mixing come un problema di allineamento cognitivo, caratterizzato da due segnali complementari: la spontaneità e la naturalezza. Le valutazioni empiriche dimostrano che queste metriche sono in grado di distinguere sistematicamente le prestazioni di code-mixing tra diversi modelli.

Oltre alla valutazione comparativa, la ricerca ha portato alla scoperta di una strategia di stratificazione terminologica emergente, un fenomeno coerente con la teoria del Matrix Language Frame (MLF). Questo indica un allineamento cognitivo strutturato tra i modelli linguistici multilingue e la comunicazione umana.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.