Distillazione mirata per modelli linguistici

La distillazione di modelli linguistici di grandi dimensioni (LLM) è una tecnica consolidata per trasferire conoscenza da un modello "insegnante" più grande a un modello "studente" più piccolo e più efficiente. Tuttavia, i metodi tradizionali spesso sprecano risorse computazionali preziose, addestrando il modello studente su problemi che ha già risolto o su problemi che sono ben oltre le sue capacità attuali.

Un nuovo studio introduce PACED, un framework che affronta questo problema concentrando la distillazione sull'area di sviluppo prossimale del modello studente, ovvero la frontiera delle sue competenze. L'approccio si basa su un'analisi teorica che dimostra come il rapporto segnale/rumore nei gradienti di distillazione diminuisca drasticamente agli estremi delle prestazioni del modello.

Il framework PACED

PACED utilizza una funzione di peso derivata dalla struttura dei gradienti di distillazione per dare maggiore importanza ai problemi che si trovano al limite delle capacità del modello studente. I risultati sperimentali mostrano che PACED offre miglioramenti significativi rispetto ai metodi di distillazione tradizionali, sia nella distillazione da un modello insegnante più grande a uno studente più piccolo, sia nell'auto-distillazione. L'approccio è compatibile con diverse direzioni di divergenza di Kullback-Leibler (KL) e non richiede modifiche architetturali al modello.

Inoltre, la combinazione di una prima fase di distillazione con divergenza KL forward seguita da una fase con divergenza KL reverse sembra produrre i risultati migliori, suggerendo un processo di distillazione che prima amplia la copertura delle modalità e poi consolida le conoscenze acquisite.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.