L’idea che un grande modello linguistico possa giudicare da solo quanto sia difficile una domanda di comprensione del testo è allettante: significherebbe test automatici calibrati al volo, percorsi di apprendimento personalizzati, risparmi enormi. Peccato che la realtà, come emerge da un nuovo studio su larga scala, sia più complicata.

I ricercatori hanno messo alla prova diversi LLM nel predire il livello di difficoltà di item tratti da un esteso test di Reading e Writing. Hanno confrontato strategie di prompting e parametri, inclusi modelli encoder-only e approcci classici di machine learning basati su feature. Il risultato più nitido? GPT-4.1 in zero-shot con temperatura zero ha ottenuto un quadratic weighted kappa (QWK) di 0.578, ma è stato battuto da ConvBERT, un modello molto più snello, che ha raggiunto 0.625. Peggio ancora, l’analisi successiva rivela un difetto strutturale: tutti gli LLM faticano a etichettare gli item più ostici. GPT-5.4, nonostante la potenza, tende sistematicamente a sottostimare la difficoltà, come se per lui tutto fosse facile.

Questo comportamento ha radici profonde. Riducendo la dimensionalità degli embedding, i ricercatori hanno osservato che le rappresentazioni semantiche degli item di diversa difficoltà si mescolano. La sola informazione linguistica non basta: la difficoltà percepita da un umano dipende da fattori cognitivi che un LLM, addestrato su correlazioni statistiche, non cattura in modo affidabile. Quando il modello diventa più capace, la sua “autostima” aumenta e il mondo gli appare più semplice – un bias che rischia di produrre test banalizzanti se non viene corretto.

Per chi sviluppa o valuta pipeline di generazione automatica di item in ambito educativo, il messaggio è chiaro. In uno scenario on-premise, dove la sovranità dei dati o le normative impongono di tenere tutto localmente, si è spesso costretti a usare modelli quantizzati o meno potenti per via dei limiti di VRAM e della potenza di calcolo. Se già i modelli allo stato dell’arte faticano a capire la difficoltà, una versione compressa o con finestra di contesto ridotta potrebbe amplificare l’effetto “tutto facile”. Il TCO di una soluzione self-hosted non si misura solo in hardware e bolletta elettrica: include il costo della validazione umana, l’integrazione di classificatori tradizionali (come ConvBERT) per correggere le stime e il rischio di rilasciare strumenti didattici che valutano male gli studenti.

L’implicazione strutturale è che il paradigma “un modello per governarli tutti” inizia a scricchiolare in domini dove la precisione psicometrica conta. L’encoder-only, pur non avendo la fluidità generativa di un LLM, qui dimostra di leggere meglio le sfumature di difficoltà. Questo suggerisce architetture ibride: un LLM potente (cloud o on-prem) per generare il testo, affiancato da un modello più piccolo e specializzato per la stima della difficoltà, il tutto orchestrato in una pipeline che non può prescindere da un controllo umano.

In definitiva, se qualcuno sta pensando di affidare a un LLM self-hosted la creazione di intere batterie di quiz tarati sul livello degli studenti, dovrebbe ricordare che persino i modelli più avanzati vedono il mondo con gli occhi di chi sa già tutto – e per un educatore questo è un problema, non una virtù.