Fine-tuning di LLM per il settore medico in lingue a basse risorse

La documentazione clinica è essenziale per la sicurezza del paziente e la continuità delle cure. L'onere amministrativo dei sistemi EHR contribuisce al burnout dei medici, un problema accentuato nelle lingue a basse risorse come il finlandese.

Uno studio recente ha esplorato l'efficacia del fine-tuning di un modello linguistico di grandi dimensioni (LLM), nello specifico LLaMA 3.1-8B, per la trascrizione medica in finlandese. Il modello è stato addestrato su un corpus validato di conversazioni cliniche simulate, create da studenti della Metropolia University of Applied Sciences.

Metodologia e risultati

Il processo di fine-tuning è stato eseguito con pre-elaborazione e ottimizzazione controllate. L'efficacia è stata valutata tramite cross-validation. I risultati indicano un basso overlap di n-grammi (BLEU = 0.1214, ROUGE-L = 0.4982) ma un'elevata similarità semantica (BERTScore F1 = 0.8230) con le trascrizioni di riferimento.

Questo suggerisce che il fine-tuning può essere un approccio efficace per la trascrizione di discorsi medici in finlandese e supporta la creazione di LLM specifici per il dominio medico, orientati alla privacy. Ulteriori ricerche sono necessarie per esplorare ulteriormente questo approccio.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi trade-off.