SanityHarness: Un nuovo benchmark per agenti di coding

Uno sviluppatore ha rilasciato SanityHarness, un nuovo strumento di benchmark progettato per valutare le capacità di agenti di coding e modelli linguistici (LLM) in modo agnostico rispetto all'agente utilizzato. L'obiettivo è misurare la comprensione del modello e le capacità dell'agente, piuttosto che la semplice ripetizione di dati di training.

Il benchmark è composto da task in sei diversi linguaggi di programmazione ed è disponibile su GitHub per chi volesse utilizzarlo autonomamente.

SanityBoard: La leaderboard dei modelli di coding

I risultati dei test eseguiti con SanityHarness sono pubblicati su SanityBoard, una leaderboard che confronta le performance di 49 diverse combinazioni di agenti e modelli. La leaderboard include dati rilevanti come date di esecuzione e numeri di versione degli agenti.

Lo sviluppatore invita la comunità a contribuire con API key e crediti per testare un numero maggiore di modelli e agenti. Si impegna a mantenere la massima trasparenza e imparzialità nei test.

Costi di utilizzo e piani futuri

L'autore ha evidenziato come alcuni modelli di monetizzazione basati su crediti siano eccessivamente costosi. Ha confrontato i costi di diversi servizi, sottolineando come alcuni piani offrano un rapporto qualità-prezzo decisamente migliore rispetto ad altri.

In futuro, prevede di testare diversi strumenti MCP (Meta-Cognitive Programming) per valutare il loro impatto sulle capacità di coding degli agenti, oltre a confrontare diverse configurazioni di modelli open source come Oh-My-Opencode.