Pruning e rappresentazioni nei modelli di linguaggio

Il network pruning è una tecnica ampiamente utilizzata per migliorare l'efficienza dei modelli di linguaggio, riducendone la complessità computazionale e la dimensione. L'idea di base è rimuovere i parametri o le architetture meno importanti, mantenendo al contempo le performance desiderate. Tuttavia, l'efficacia del pruning varia significativamente a seconda del tipo di compito.

Analisi delle gerarchie di rappresentazione

Un recente studio ha analizzato il pruning da una prospettiva di gerarchia di rappresentazione, scomponendo il calcolo interno dei modelli di linguaggio in tre spazi sequenziali: embedding (rappresentazioni nascoste), logit (output pre-softmax) e probabilità (distribuzioni post-softmax). I risultati indicano che le rappresentazioni negli spazi di embedding e logit sono generalmente robuste alle perturbazioni indotte dal pruning.

Impatto sui compiti generativi e non generativi

La trasformazione non lineare dai logit alle probabilità amplifica le deviazioni causate dal pruning, portando a un degrado significativo delle performance durante la generazione. Al contrario, la stabilità dello spazio delle probabilità categorical-token, insieme alla robustezza dello spazio di embedding, supporta l'efficacia del pruning per compiti non generativi come il retrieval e la selezione a scelta multipla.

Per chi valuta deployment on-premise, esistono trade-off da considerare nell'implementazione di tecniche di pruning. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.