Svelare i Comportamenti Nascosti degli LLM Finetuned

Il finetuning rappresenta una fase critica nello sviluppo dei Large Language Models (LLM), poiché può alterare significativamente il loro comportamento, introducendo talvolta funzionalità indesiderate o persino rischiose. Per studiare questi fenomeni in ambienti controllati, i ricercatori utilizzano i cosiddetti “model organisms”: modelli finetuned per esibire specifici comportamenti noti. Tuttavia, identificare con precisione gli obiettivi di finetuning di un LLM rimane una sfida complessa, specialmente quando si tratta di comportamenti non intenzionali o nascosti.

Un nuovo approccio basato sull'analisi della perplessità si propone di affrontare questa problematica. La metodologia sfrutta la tendenza degli LLM a generalizzare eccessivamente i comportamenti appresi durante il finetuning, estendendoli oltre il contesto originariamente previsto. Questo meccanismo offre una finestra sui processi interni del modello, consentendo di dedurre gli obiettivi di addestramento senza la necessità di accedere alla sua architettura interna o di formulare ipotesi preventive sui suoi comportamenti.

Il Metodo della Differenza di Perplessità in Dettaglio

La tecnica proposta si articola in due passaggi principali. Inizialmente, vengono generate diverse “completions” dal modello finetuned, utilizzando brevi prefissi casuali estratti da corpus generali. Questi prefissi agiscono come stimoli neutri, progettati per innescare risposte che potrebbero rivelare le inclinazioni del modello.

Successivamente, le completions generate vengono classificate in base alla differenza di perplessità tra il modello finetuned e un modello di riferimento. Una maggiore differenza di perplessità indica che il modello finetuned ha una “sorpresa” maggiore o una minore probabilità di generare quella specifica sequenza di token rispetto al modello di riferimento. Le completions posizionate ai primi posti in questa classifica spesso rivelano in modo esplicito gli obiettivi di finetuning, fornendo indizi preziosi sui comportamenti appresi dal modello. Questo approccio è notevole per la sua capacità di operare senza richiedere la conoscenza degli interni del modello o assunzioni a priori sul comportamento atteso.

Implicazioni e Versatilità della Tecnica

L'efficacia di questo metodo è stata valutata su un set diversificato di 76 “model organisms”, con dimensioni che variavano da 0.5 a 70 miliardi di parametri. Questo set includeva modelli con “backdoor” nascoste, modelli finetuned per internalizzare fatti falsi tramite finetuning con documenti sintetici, modelli addestrati avversariamente con comportamenti preoccupanti latenti e modelli che esibivano disallineamenti emergenti. Per la stragrande maggioranza dei modelli testati, il metodo ha permesso di identificare le completions che rivelavano gli obiettivi di finetuning tra i risultati più rilevanti. I modelli addestrati tramite finetuning con documenti sintetici o per produrre frasi esatte si sono dimostrati particolarmente suscettibili a questa analisi.

Un aspetto fondamentale di questa tecnica è la sua flessibilità: può essere efficace anche senza accesso al checkpoint esatto pre-finetuning. Modelli di riferimento affidabili, anche se appartenenti a famiglie diverse, possono fungere da sostituti validi. Inoltre, poiché il metodo richiede solo le probabilità del prossimo token dal modello finetuned, è compatibile con i modelli API-gated che espongono i logprobs dei token, ampliando notevolmente il suo campo di applicazione.

Prospettive per i Deployment Enterprise e la Sovranità dei Dati

Per CTO, DevOps lead e architetti infrastrutturali che valutano il deployment di LLM in ambienti on-premise o ibridi, la capacità di comprendere e verificare i comportamenti di un modello è di importanza strategica. In contesti dove la sovranità dei dati, la compliance normativa (come il GDPR) e la sicurezza sono prioritarie, la possibilità di auditare i modelli finetuned senza accesso completo al loro codice sorgente o ai dati di training originali rappresenta un vantaggio significativo. Questo metodo offre uno strumento per identificare potenziali vulnerabilità o comportamenti indesiderati che potrebbero compromettere la sicurezza o l'integrità dei dati aziendali.

La versatilità nell'operare con modelli API-gated rende questa tecnica applicabile anche per valutare LLM di terze parti o servizi cloud, fornendo un livello di trasparenza e controllo altrimenti difficile da ottenere. Per chi valuta deployment on-premise, strumenti come questo possono mitigare i rischi associati alla personalizzazione dei modelli, supportando decisioni informate sui trade-off tra controllo interno e l'adozione di soluzioni basate su cloud. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi trade-off, enfatizzando l'importanza di strumenti di verifica robusti per garantire la conformità e la sicurezza dei sistemi AI.