Analisi contestuale con LLM: uno studio su GPT-5

Un recente studio pubblicato su arXiv indaga l'abilità dei modelli linguistici di grandi dimensioni (LLM) di supportare l'analisi interpretativa del contesto di citazioni (CCA). La ricerca si concentra sull'analisi approfondita di un singolo caso complesso, piuttosto che sull'ampliamento delle etichette tipologiche.

Sensibilità dei prompt e interpretazioni

Lo studio mette in evidenza la sensibilità dei prompt come questione metodologica, variando la loro struttura e il loro framing in un design bilanciato 2x3. Utilizzando la nota 6 in Chubin e Moitra (1975) e la ricostruzione di Gilbert (1977) come sonda, è stata implementata una pipeline GPT-5 a due stadi: una classificazione superficiale del testo di citazione e un passaggio di aspettativa, seguiti dalla ricostruzione interpretativa cross-document utilizzando i testi completi citanti e citati.

Risultati e implicazioni

Su 90 ricostruzioni, il modello ha prodotto 450 ipotesi distinte. L'analisi ha identificato 21 interpretazioni ricorrenti. La classificazione superficiale di GPT-5 si è dimostrata stabile, classificando costantemente la citazione come "supplementare". Nella ricostruzione, il modello genera uno spazio strutturato di alternative plausibili, ma la struttura e gli esempi dei prompt ridistribuiscono l'attenzione e il vocabolario, a volte verso interpretazioni forzate. Lo studio evidenzia opportunità e rischi nell'utilizzo degli LLM come co-analisti guidati per una CCA ispezionabile e contestabile, dimostrando che la struttura e il framing dei prompt influenzano sistematicamente quali letture e vocabolari plausibili il modello mette in primo piano.