Rilevamento di testo LLM in coreano: l'intuizione non basta

Distinguere un testo in coreano scritto da umani da uno generato da un modello linguistico (LLM) è una sfida, anche per i linguisti esperti. Spesso, ci si affida troppo alla correttezza formale del testo, trascurando dettagli più sottili.

Addestramento strutturato per il rilevamento

Un recente studio ha esplorato se l'abilità di rilevamento possa essere appresa e migliorata attraverso un addestramento strutturato. È stata introdotta LREAD, una rubrica basata sugli standard nazionali di scrittura coreana, adattata per individuare artefatti a livello micro (punteggiatura, spaziatura, registro linguistico).

Risultati sorprendenti

In un protocollo longitudinale in tre fasi con studenti di linguistica coreana, l'accuratezza del rilevamento è aumentata dal 60% al 100%, con un forte aumento della concordanza tra i valutatori (indice Kappa di Fleiss da -0.09 a 0.82). Gli umani addestrati si sono dimostrati più efficaci dei rilevatori LLM all'avanguardia, grazie alla loro capacità di cogliere micro-diagnostiche specifiche della lingua. I risultati suggeriscono che la valutazione umana, supportata da rubriche, può integrare i rilevatori automatici, specialmente in contesti non inglesi.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare queste opzioni.