Machine Unlearning e Raccomandazione Generativa: U-CAN in Soccorso

I sistemi di raccomandazione generativa (GenRec) che utilizzano modelli linguistici di grandi dimensioni (LLM) stanno ridefinendo la personalizzazione. Tuttavia, il fine-tuning su log degli utenti può inavvertitamente codificare attributi sensibili nei parametri del modello, sollevando preoccupazioni sulla privacy. Le tecniche esistenti di machine unlearning (MU) faticano a risolvere questo problema a causa del "Polysemy Dilemma", dove i neuroni sovrappongono dati sensibili a schemi di ragionamento generali, portando a una catastrofica perdita di utilità con i metodi tradizionali di gradient descent o pruning.

U-CAN: Un Framework di Precision Unlearning

Per affrontare questa sfida, è stato proposto Utility-aware Contrastive AttenuatioN (U-CAN), un framework di precision unlearning che opera su low-rank adapter. U-CAN quantifica il rischio confrontando le attivazioni e si concentra sui neuroni con risposte asimmetriche che sono altamente sensibili al forgetting set ma soppresse sul retention set. Per salvaguardare le prestazioni, U-CAN introduce un meccanismo di calibrazione utility-aware che combina le magnitudini dei pesi con le norme di attivazione del retention set, assegnando punteggi di utilità più elevati alle dimensioni che contribuiscono maggiormente alle prestazioni di retention.

Diversamente dal binary pruning, che spesso frammenta la struttura della rete, U-CAN sviluppa un'attenuazione soft adattiva con una funzione di decadimento differenziabile per scalare selettivamente i parametri ad alto rischio sugli adapter LoRA, sopprimendo i percorsi di retrieval sensibili e preservando la connettività topologica dei circuiti di ragionamento. Gli esperimenti su due dataset pubblici attraverso sette metriche dimostrano che U-CAN raggiunge un forte privacy forgetting, utility retention ed efficienza computazionale.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.