Sistemi multi-agente LLM: la complessità non paga sempre

I sistemi multi-agente che utilizzano modelli linguistici di grandi dimensioni (LLM) per raggiungere un consenso sono diventati un tema caldo. Tuttavia, uno studio recente, presentato su arXiv, solleva dubbi sul loro reale valore aggiunto rispetto a metodi più semplici.

La ricerca, denominata DELIBERATIONBENCH, ha confrontato tre protocolli di deliberazione con una strategia di base: selezionare la migliore risposta da una serie di output generati da un singolo modello. Su un campione di 270 domande, valutate con tre seed indipendenti (per un totale di 810 valutazioni), è emerso un risultato sorprendente.

La strategia di base ha raggiunto un tasso di successo dell'82,5%, superando nettamente il miglior protocollo di deliberazione (13,8%). Questo divario prestazionale, pari a 6 volte, è statisticamente significativo (p < 0,01) e si accompagna a costi computazionali inferiori (1,5-2,5 volte).

Questi risultati mettono in discussione l'idea che una maggiore complessità porti automaticamente a risultati migliori nei sistemi multi-LLM. In futuro, sarà fondamentale valutare attentamente i costi e i benefici di tali sistemi, considerando alternative più semplici ed efficienti.