L'implementazione di modelli linguistici di grandi dimensioni (LLM) in ambienti enterprise richiede un'elevata affidabilità, data la natura probabilistica di questi modelli.

Six Sigma Agent: Un nuovo approccio

Un recente studio pubblicato su arXiv presenta il Six Sigma Agent, un'architettura progettata per raggiungere livelli di affidabilità di grado enterprise nei sistemi LLM. L'approccio si basa su tre componenti principali:

  1. Task decomposition: Scomposizione dei task in un albero di dipendenze di azioni atomiche.
  2. Micro-agent sampling: Esecuzione parallela di ogni task n volte su diversi LLM per generare output indipendenti.
  3. Consensus voting: Voto a maggioranza con scaling dinamico, raggruppamento degli output e selezione della risposta dal cluster vincente con il massimo dei voti.

Risultati e implicazioni

La ricerca dimostra che campionando n output indipendenti con un tasso di errore p, si ottiene un errore di sistema di O(p^{ceil(n/2)}), consentendo guadagni esponenziali in termini di affidabilità. Anche utilizzando modelli più economici con un tasso di errore del 5% per azione, il voto a maggioranza con 5 agenti riduce l'errore allo 0,11%. Lo scaling dinamico a 13 agenti raggiunge i 3,4 DPMO (Difetti Per Milione di Opportunità), lo standard Six Sigma. La valutazione su tre use case enterprise dimostra un miglioramento dell'affidabilità di 14.700 volte rispetto all'esecuzione con un singolo agente, riducendo al contempo i costi dell'80%. Questo lavoro suggerisce che l'affidabilità nei sistemi di intelligenza artificiale emerge dalla ridondanza e dal consenso, piuttosto che dal solo scaling del modello.