Un vettore decodificabile non è un interruttore causale. È il punto di partenza dello studio che ha messo alla prova due facce dell’empatia — Recognition, cognitiva, e Resonance, affettiva — su tre LLM instruction-tuned. Il gruppo ha applicato interventi di steering e ha fatto valutare ogni risposta da due giudici LLM e da un classificatore EPITOME discriminativo, con un controllo positivo emozionale contro neutrale.

Il controllo passa in modo coerente per la faccia affettiva su tutti gli strumenti automatici, ma per quella cognitiva la gamma di risposte è incoerente tra gli strumenti. In più, entrambe le facce restano decodabili anche dopo aver corretto il testo per un punteggio di superficie derivato dai sentence embedding. Lo steering, insomma, può riscrivere il testo in modo sostanziale. Ma il cambiamento misurato è solo parziale. Aggiungere la direzione Resonance alza il punteggio affettivo in Qwen di +0,29, circa il 26% del divario naturale. Un contrasto diretto tra direzioni conferma che lo spostamento è specifico per faccia in Qwen e Llama, ma non in Gemma; e non è stato stabilito un cambiamento percepito da persone.

Sul fronte cognitivo, lo steering additivo non produce cambiamenti misurabili, ma un controllo interno segnala che lo strumento cognitivo è troppo grossolano per distinguere le differenze che quello steering produrrebbe: non è un nullo pulito, è una sensibilità insufficiente. La rimozione della Recognition in Gemma, invece, abbassa il punteggio cognitivo del classificatore anche dopo aver corretto per la lunghezza della risposta.

Per chi lavora con modelli self-hosted e dedica tempo al fine-tuning in casa, questo scarto ha un valore operativo. Le metriche automatiche sono comode per iterare, ma riducono l’empatia a una direzione nello spazio delle attivazioni e poi a un numero. Questo studio mostra che quella riduzione può fallire in modo asimmetrico: la faccia affettiva supera il controllo, quella cognitiva no. Di conseguenza, un team può leggere un +0,29 come un successo e poi scoprire che non c’è alcuna evidenza di cambiamento percepito. Non è una questione di sfiducia verso i giudici LLM; è che i controlli positivi non bastano a garantire la risoluzione necessaria per decidere se un intervento funziona.

Il caso di Gemma è istruttivo sul piano strutturale. L’ablazione della Recognition non si limita a non produrre un incremento coerente: abbassa il punteggio cognitivo del classificatore anche quando si tiene conto della lunghezza. Questo significa che il risultato non è un artefatto banale di verbosità, ma qualcosa che tocca la rappresentazione interna. Eppure, lo stesso fenomeno non si traduce in uno spostamento affidabile tra strumenti. Siamo davanti a un problema di misura, non a una prova che lo steering cognitivo sia inutile.

La lezione per chi valuta modelli in contesti on-premise è netta: la decodabilità non garantisce il controllo. Prima di dichiarare che una direzione di empatia ha effetto, serve un controllo di sensibilità dello strumento. E serve separare tre piani che spesso vengono confusi: la capacità di decodificare un vettore, il controllo di una metrica automatica e il cambiamento percepito dagli esseri umani. Senza questa separazione, i benchmark finiscono per premiare strumenti che superano un test ma non risolvono il problema reale.