Il fatto che un LLM domini le classifiche inglesi non dice quasi nulla sulla sua capacità di riassumere in bengalese. Lo mostra un benchmark zero-shot su otto modelli closed-source e open-weight, condotto su test set XL-Sum inglesi e bengalesi di dimensioni comparabili. Lo studio combina metriche lessicali e semantiche con una verifica di factuality senza riferimenti e una valutazione multidimensionale LLM-as-a-Judge. Il risultato è una fotografia più realistica ma anche più scomoda della summarization multilingue.

La prima crepa riguarda i primati. GPT-5.6 Luna guida diverse metriche lessicali in inglese, ma non mantiene lo stesso vantaggio in bengalese: lì i punteggi ROUGE e BLEU più alti sono di LLaMA 3.3 70B. Il framework si complica ancora con la factuality, dove Gemini 2.5 Flash ottiene il miglior risultato osservato in bengalese. In pratica tre modelli indossano tre corone diverse a seconda della lingua e della metrica. È un segnale chiaro: nessuna classifica singola basta per scegliere un modello in un contesto multilingue.

Per chi gestisce deployment on-premise o self-hosted, il dettaglio open-weight non è neutro. LLaMA 3.3 70B, essendo un modello aperto, è candidato naturale per essere eseguito su hardware proprio, mentre il primato di factuality di Gemini 2.5 Flash sposta l'attenzione su un servizio esterno. La conseguenza di secondo ordine è che il benchmark non separa soltanto i modelli migliori dai peggiori: separa anche i criteri di valutazione. Un team che deve costruire una pipeline di summarization in bengalese può trovarsi a dover scegliere tra un modello aperto con migliore sovrapposizione lessicale e un modello chiuso con factuality superiore. Non è una preferenza tecnica, è un trade-off tra controllo, sovranità dei dati e qualità fattuale.

Il terzo livello di lettura riguarda l'infrastruttura di valutazione. Le lingue a basse risorse soffrono spesso di dataset di riferimento limitati. L'uso di factuality reference-free e di LLM-as-a-Judge prova a ridurre questa dipendenza, ma introduce una variabile nuova: anche i giudici sono LLM, con le loro distorsioni. Il fatto che metodi di valutazione diversi producano ranking diversi indica che la scelta del modello non può essere delegata a un singolo indicatore. Per chi fa fine-tuning o quantization di modelli aperti su lingue locali, serve una valutazione continua sul dominio reale, non un benchmark importato.

In questo scenario, i vendor di modelli closed-source hanno un incentivo a difendere i benchmark inglesi, dove alcuni primati sono più facili da comunicare. L'ecosistema open-weight, al contrario, guadagna da risultati come quello di LLaMA 3.3 70B, perché la vittoria lessicale in bengalese si traduce in un argomento concreto per il self-hosted. Ma il divario di factuality ricorda che eseguire un modello in casa non garantisce di per sé riassunti più affidabili. Per chi valuta deployment on-premise, esistono trade-off tra controllo del modello e qualità fattuale che richiedono framework analitici specifici: su AI-RADAR, la sezione /llm-onpremise offre strumenti per soppesare questi vincoli.

Il caso bengalese è un promemoria strutturale: una leaderboard in inglese è una mappa parziale. Senza framework di valutazione che tengano insieme lessico, semantica e factuality, ogni scelta di modello in una lingua a basse risorse resta una scommessa.