Strategie di Prompting per LLM e Analisi di Grafici

La performance dei modelli linguistici di grandi dimensioni (LLM) è fortemente influenzata dalle strategie di prompting utilizzate. Un recente studio si è concentrato sull'analisi di diverse tecniche di prompting applicate al question answering (QA) basato su grafici, un'area in cui la capacità di ragionamento del modello è cruciale.

Metodologia di Valutazione

La ricerca ha valutato quattro paradigmi di prompting ampiamente utilizzati: Zero-Shot, Few-Shot, Zero-Shot Chain-of-Thought e Few-Shot Chain-of-Thought. I modelli presi in esame sono stati GPT-3.5, GPT-4 e GPT-4o, testati sul dataset ChartQA. L'analisi si è concentrata esclusivamente sui dati strutturati dei grafici, isolando la struttura del prompt come unica variabile sperimentale. Le metriche di valutazione utilizzate sono state l'accuratezza e l'Exact Match.

Risultati Chiave

I risultati, ottenuti da 1.200 campioni diversi di ChartQA, indicano che il prompting Few-Shot Chain-of-Thought produce costantemente la massima accuratezza (fino al 78.2%), in particolare per le domande che richiedono un ragionamento più complesso. Il prompting Few-Shot migliora l'aderenza al formato richiesto. Zero-Shot mostra buone performance solo con modelli ad alta capacità e su task più semplici. Questi risultati forniscono indicazioni utili per la selezione delle strategie di prompting in task di ragionamento su dati strutturati, con implicazioni sia per l'efficienza che per l'accuratezza in applicazioni reali.

Per chi valuta deployment on-premise di soluzioni simili, AI-RADAR offre framework analitici su /llm-onpremise per valutare i trade-off tra diverse architetture e modelli.