Hugging Face ha annunciato la creazione di repository di benchmark per modelli di linguaggio di grandi dimensioni (LLM), con l'obiettivo di standardizzare e rendere più trasparenti le valutazioni delle performance.

Benchmark collaborativi

L'iniziativa, presentata da Ben di Hugging Face, si propone di risolvere il problema delle incongruenze nei risultati dei benchmark, spesso riscontrabili confrontando diversi modelli. I nuovi repository consentono alla comunità di contribuire direttamente con i risultati delle valutazioni. Per inserire un modello in una leaderboard, è sufficiente creare una pull request (PR) al repository del modello con i risultati e le relative fonti. Questo sistema collega direttamente il modello alla leaderboard, senza necessità di unire la PR.

Trasparenza e verifiche

Per garantire risultati verificati, Hugging Face permette anche di eseguire job automatizzati per le valutazioni. Questo approccio aumenta la trasparenza dei benchmark, fornendo una base più solida per il confronto tra modelli. Il feedback della comunità è fondamentale per migliorare ulteriormente il sistema.

Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.