Il tallone d’Achille degli ottimizzatori tradizionali

Trovare tutti i minimi (o massimi) di una funzione multimodale è un problema che tocca l’ottimizzazione, l’inference bayesiana e il calcolo scientifico. I metodi classici – basin-hopping, CMA-ES, gradient descent con restart – lavorano in modo sequenziale e non sfruttano la parallelizzazione massiva delle GPU moderne. Risultato: quando il numero di dimensioni cresce e la funzione presenta decine di picchi, la probabilità di perdersi un modo sale vertiginosamente, e le tempistiche diventano proibitive.

Come Chisao sfrutta la GPU con un’oscillazione controllata

Il gruppo di ricerca ha messo a punto Chisao (Convergence-Halt-Invert-Stick-And-Oscillate), un ottimizzatore di popolazione che fa girare l’intero batch di campioni simultaneamente su GPU. L’idea chiave è un ciclo di oscillazione convergenza-anticonvergenza: i campioni che raggiungono un picco vengono “congelati” e preservati, mentre il resto della popolazione continua a esplorare lo spazio usando un momento anti-convergenza e gradienti smussati stocasticamente. La mossa strutturale è asimmetrica: i veri picchi vengono bloccati, gli altri tenuti in movimento.

Per mantenere la diversità della popolazione, Chisao adotta due strategie di riseeding adattivo: “Repulse Monkey” e “Golden Rooster”, che evitano il collasso su un singolo modo. Il tutto funziona senza derivare la funzione obiettivo: i gradienti sono calcolati con differenze finite, quindi il meccanismo è agnostico rispetto alla forma analitica del problema.

Risultati lampanti sulla suite SFU e su rumore elevato

La prova del nove arriva dalla suite di benchmark dell’Università Simon Fraser: 42 funzioni con dimensionalità da 2 a 64. Chisao raggiunge il 100% di recupero dei modi, mentre tutti i metodi CPU di riferimento falliscono già a partire da 8 dimensioni sulle funzioni più ostili. Dove i concorrenti tengono il passo, il divario di prestazioni è netto: fino a 34× di speedup rispetto a basin-hopping sulla funzione di Michalewicz a 64 dimensioni, e fino a 39× su funzioni unimodali come il Rotated Hyper-Ellipsoid, puro dividendo della GPU.

Un altro dato notevole è la robustezza al rumore: anche con una deviazione standard del rumore di likelihood fino a 1.0, la detection dei modi rimane affidabile al 100%. Non è un dettaglio secondario per chi lavora con dati reali, dove il rumore è la norma.

Perché è una notizia che conta per chi lavora su hardware locale

Qui entra in gioco la prospettiva del deployment on-premise. L’ottimizzazione black-box è onnipresente nel tuning di iperparametri di reti neurali, nell’addestramento di modelli fisici e nella calibrazione di simulazioni. In contesti regolamentati o con vincoli di sovranità dei dati (GDPR, sanità, difesa), l’elaborazione deve restare su infrastruttura proprietaria. Chisao, come pacchetto Python open-source, può essere eseguito su qualsiasi nodo GPU aziendale, senza dipendere da servizi cloud esterni. La natura derivative-free lo rende utilizzabile anche su funzioni per cui il gradiente analitico non esiste o è troppo costoso.

Non si tratta solo di accelerazione: la capacità di esplorare l’intero paesaggio dei modi parallelamente su GPU trasforma l’ottimizzazione da seriale a massivamente concorrente, riducendo il time-to-insight per problemi che finora richiedevano ore o giorni di calcolo distribuito su CPU. In un’ottica di TCO, sfruttare al massimo una singola GPU già presente in azienda può abbattere i costi operativi rispetto all’affitto di potenza cloud.

Il progetto è disponibile su PyPI e apre la strada a un’integrazione diretta nei pipeline di MLOps on-premise. Gli sviluppatori possono scaricarlo e testarlo sui propri workload, senza barriere all’ingresso.