AfriEconQA: Un Nuovo Benchmark per l'Analisi Economica Africana

È stato rilasciato AfriEconQA, un dataset di riferimento specializzato per l'analisi economica africana. Il dataset si basa su un corpus di 236 report della Banca Mondiale e si propone come strumento per valutare la capacità dei sistemi di Information Retrieval (IR) e RAG (Retrieval-Augmented Generation) di rispondere a quesiti economici complessi.

Dettagli del Dataset

AfriEconQA è composto da 8.937 istanze di domande e risposte (QA) accuratamente selezionate da un insieme di oltre 10.000 domande sintetiche. Ogni istanza include:

  • Una domanda che richiede ragionamenti su indicatori economici.
  • L'evidenza corrispondente estratta dai report.
  • Una risposta verificata.
  • Metadati sulla fonte (URL, data di pubblicazione).

Sfide e Obiettivi

AfriEconQA rappresenta una sfida significativa per i sistemi di IR, poiché i dati sono in gran parte assenti dai corpora di pre-training dei modelli linguistici di grandi dimensioni (LLM) attuali. I primi esperimenti, che hanno confrontato un modello zero-shot (GPT-5 Mini) con configurazioni RAG basate su GPT-4o e Qwen 32B, hanno evidenziato notevoli lacune nelle conoscenze parametriche. I modelli zero-shot non sono riusciti a rispondere a più del 90% delle domande, e anche le pipeline RAG più avanzate hanno faticato a raggiungere un'elevata precisione. Il dataset e il codice saranno resi pubblici al momento della pubblicazione.