LLM e ottimizzazione: un nuovo approccio

La valutazione comparativa nell'ottimizzazione continua black-box è limitata dalla scarsa diversità strutturale delle suite di test esistenti, come BBOB. Un recente studio esplora l'utilizzo di modelli linguistici di grandi dimensioni (LLM) integrati in un ciclo evolutivo per progettare problemi di ottimizzazione con caratteristiche del landscape ben definite.

Il framework LLaMEA

Utilizzando il framework LLaMEA, un LLM viene guidato a sviluppare codice problema a partire da descrizioni in linguaggio naturale delle proprietà target, tra cui multimodalità, separabilità, omogeneità della dimensione del bacino, omogeneità dello spazio di ricerca e contrasto tra ottimi globali e locali. All'interno del ciclo, i candidati vengono valutati attraverso predittori di proprietà basati su ELA (Exploratory Landscape Analysis).

Diversificazione e validazione

È stato introdotto un meccanismo di fitness-sharing nello spazio ELA per aumentare la diversità della popolazione e allontanare il generatore da landscape ridondanti. Un'analisi complementare del bacino di attrazione, test statistici e ispezione visiva verificano che molte delle funzioni generate esibiscano effettivamente i tratti strutturali desiderati. Un embedding t-SNE mostra che espandono lo spazio delle istanze BBOB anziché formare un cluster non correlato. La libreria risultante fornisce un set ampio, interpretabile e riproducibile di problemi di benchmark per l'analisi del landscape e attività a valle come la selezione automatizzata degli algoritmi.