Campionamento Scalabile per LLM: ragionamento senza training

Un nuovo studio introduce un metodo per migliorare le capacità di ragionamento dei modelli linguistici di grandi dimensioni (LLM) senza la necessità di costosi processi di reinforcement learning post-training. La tecnica, denominata Scalable Power Sampling, si concentra sull'affinamento della distribuzione del modello per ottenere performance superiori.

Dettagli della soluzione

Il metodo proposto elimina la necessità di iterazioni Markov chain Monte Carlo (MCMC), spesso associate ad alti costi computazionali. L'innovazione chiave risiede in una nuova formulazione che approssima la distribuzione globale tramite una versione a bassa temperatura scalata a livello di token, dove il fattore di scala cattura la qualità della traiettoria futura. Questo permette di affinare la distribuzione generativa del modello base in modo autoregressivo e senza training.

Risultati sperimentali

Valutazioni empiriche su task di matematica, domande e risposte e codice, utilizzando diversi LLM, dimostrano che il metodo eguaglia o supera le performance di GRPO (un metodo di reinforcement learning) senza l'uso di ricompense esterne. Inoltre, si osserva una riduzione della latenza di inference di oltre 10 volte rispetto ai metodi basati su MCMC.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.