Chi lavora con l'intelligenza artificiale sa bene che il laboratorio non è il mondo reale. E nel mondo reale, miliardi di persone comunicano ogni giorno mescolando lingue diverse nella stessa frase, digitandole in alfabeto latino per comodità. Questo fenomeno, noto come Romanized Code Mixing (RCM), è la normalità per comunità multilingue dall’India all’Europa, ma resta un territorio largamente inesplorato per i Large Language Models.

Un gruppo di ricerca ha appena acceso i riflettori su questa lacuna con Indi-RomCoM, un benchmark pensato per misurare quanto i LLM siano capaci di seguire istruzioni e ragionare quando il testo d’ingresso è un impasto fluido di inglese e una lingua indiana scritta in caratteri latini. Il verdetto è scomodo: i modelli inciampano, e spesso male.

Sette compiti, quattro lingue e una lezione amara

Il cuore di Indi-RomCoM è un insieme di sette task che spaziano dal riconoscimento della tossicità alla generazione di riassunti, passando per domande di ragionamento. I test coprono quattro lingue indiane molto parlate e tre livelli controllati di intensità di code-mixing, dal leggero all’estremo. Il team ha valutato una batteria di modelli che include colossi proprietari, varianti open-weight e LLM specificamente addestrati su lingue indiane, sia in configurazione zero-shot che con pochi esempi.

Il risultato più netto è un calo generalizzato delle performance quando il testo contiene RCM. Più denso è il mescolamento, più i modelli faticano. Tuttavia, non tutti i compiti soffrono allo stesso modo: quelli di ragionamento, dove il modello produce una spiegazione articolata, mostrano un degrado inferiore rispetto a task di detection come la rilevazione di contenuti tossici. In pratica, la capacità di argomentare aiuta a compensare la confusione linguistica.

Cosa cambia per chi sceglie un’AI sovrana e on-premise

Per un’organizzazione che valuta il deployment on-premise di un LLM, Indi-RomCoM porta una riflessione concreta. Spesso i benchmark pubblici si concentrano su inglese pulito o su lingue singole ben formalizzate, ma la comunicazione reale di dipendenti, clienti o cittadini è fatta di codici mescolati. Un assistente aziendale o un chatbot di supporto che fallisce su input in hindi misto a inglese scritto in alfabeto latino non è un prodotto di nicchia: è un guasto potenzialmente quotidiano in mercati con centinaia di milioni di parlanti.

Chi gestisce infrastrutture locali per motivi di sovranità dei dati deve chiedersi se i modelli che intende mettere in produzione siano stati messi alla prova su scenari di questo tipo. La fotografia scattata da Indi-RomCoM suggerisce che persino i modelli più blasonati potrebbero aver bisogno di fine-tuning specifico o di strategie di pre-processing del testo prima di poter funzionare in modo affidabile in un contesto multilingue reale.

Una prospettiva più ampia: servono benchmark inclusivi

Il lavoro mette in luce un tema più ampio: l’industria dell’AI ha finora privilegiato la valutazione su dati puliti e monolingue, mentre l’uso quotidiano è sporco, fluido e multilingue. L’arrivo di benchmark come Indi-RomCoM non è solo un esercizio accademico, ma uno strumento per spingere lo sviluppo di sistemi più inclusivi. Per il mondo enterprise, questo significa che il Total Cost of Ownership di un LLM on-premise potrebbe includere costi nascosti di adattamento se il modello scelto non è stato pensato per il paesaggio linguistico reale in cui dovrà operare.

L’assenza di dati hardware specifici nel benchmark non toglie valore al messaggio: prima di accendere GPU e server, serve una verifica onesta della capacità di comprendere chi parla come mangia – mescolando le lingue, senza formalismi. Un test di RCM potrebbe diventare una voce fissa nella checklist di chiunque progetti un’AI che voglia davvero dialogare con il mondo.