ReBalance: un approccio innovativo per l'efficienza dei LLM

I modelli linguistici di grandi dimensioni (LLM) dimostrano notevoli capacità di ragionamento, ma spesso sprecano risorse computazionali su problemi semplici (overthinking) o non esplorano a sufficienza le possibili soluzioni (underthinking). Questo limita la loro applicabilità pratica, specialmente in contesti con risorse limitate.

ReBalance è un framework che non richiede training e che mira a risolvere questi problemi. Sfrutta la confidenza del modello come indicatore continuo delle dinamiche di ragionamento. L'overthinking viene identificato attraverso un'elevata varianza nella confidenza, mentre l'underthinking si manifesta con una confidenza eccessiva e costante.

Come funziona ReBalance

Il sistema aggrega gli stati nascosti da un dataset di piccole dimensioni in prototipi di modalità di ragionamento. Calcola poi un vettore di guida per orientare le traiettorie di ragionamento degli LLM. Una funzione di controllo dinamica modula l'intensità e la direzione di questo vettore in base alla confidenza in tempo reale, eliminando la ridondanza durante l'overthinking e promuovendo l'esplorazione durante l'underthinking.

Risultati sperimentali

Test approfonditi su quattro modelli (da 0.5B a 32B parametri) e nove benchmark in diversi ambiti (ragionamento matematico, general question answering e sviluppo di codice) dimostrano che ReBalance riduce efficacemente la ridondanza e migliora l'accuratezza. Questo lo rende una strategia generale, plug-and-play e che non richiede training per un deployment efficiente e robusto degli LLM.

Il codice del progetto è disponibile su GitHub.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.