Per capire se un LLM allineato resiste ai jailbreak, i metodi automatici tradizionali chiedono al modello di produrre una risposta completa e poi misurano se l’attacco ha avuto successo. È un processo lento, costoso e spesso poco informativo: sui modelli fortemente allineati, la maggior parte dei tentativi viene rifiutata con lo stesso esito negativo, lasciando pochi segnali utili per guidare la ricerca di nuove varianti. Il framework NeuronFuzz, descritto in un nuovo paper, sposta il punto di osservazione: invece di aspettare il testo generato, legge l’attivazione dei neuroni interni associati alla sicurezza.

Il cuore tecnico è un SafetyOracle che converte le attivazioni dei safety neurons in un punteggio continuo di allarme. Questo punteggio viene calcolato durante la prefill, quindi prima e senza la generazione autoregressiva della risposta. Il fuzzing non deve più attendere la decodifica completa, con un taglio netto del carico computazionale per ogni candidato. Non è solo una questione di velocità: il segnale continuo permette di distinguere livelli di rischio anche quando il modello rifiuta, offrendo una guida più densa per mutare i template.

Per costruire il SafetyOracle, NeuronFuzz seleziona un insieme compatto di neuroni usando input dannosi e benigni invarianti rispetto al template e una selezione basata sulla stabilità. Il punteggio è differenziabile, quindi il framework sfrutta i gradienti per individuare le posizioni sensibili del template e usa un masked language model per generare mutazioni fluenti e compatibili con il contesto, mantenendo intatto il payload dannoso originale ed evitando variabili di ottimizzazione aggiuntive.

I numeri riportati dagli autori danno la misura dell’efficacia. Su cinque modelli white-box usati come sorgente, NeuronFuzz raggiunge un tasso di scoperta di jailbreak tra il 76 e il 100%, superando le baseline fino a 48 punti percentuali. I template ottimizzati si trasferiscono in zero-shot a modelli open-weight e a sei modelli proprietari: il tasso medio di successo degli attacchi (ASR) arriva al 69,6%, con un ASR ensemble top-5 del 92,6% sui primi; sui modelli proprietari i valori scendono al 44,1% e 60,0%. Il divario tra modelli aperti e chiusi non è solo una curiosità: segnala che l’accesso ai pesi e alle attivazioni interne cambia la qualità della valutazione.

La vera implicazione strutturale riguarda l’asimmetria di audit. NeuronFuzz è un framework white-box: ha bisogno di leggere le attivazioni interne. Questo lo rende applicabile direttamente a LLM open-weight eseguiti in locale o su infrastruttura controllata, dove il team di sicurezza può strumentare il modello. Per i modelli chiusi accessibili solo via API, invece, si può solo importare template già ottimizzati altrove, con risultati mediamente inferiori. Non è un dettaglio accademico: chi gestisce modelli self-hosted ha a disposizione una classe di strumenti di valutazione che i servizi cloud proprietari non offrono con la stessa profondità. L’audit di sicurezza diventa un argomento che pesa nelle decisioni di deployment, accanto a latenza, TCO e controllo dei dati.

C’è anche un effetto di secondo ordine sul costo della sicurezza continua. Poiché il punteggio di allarme si ottiene in prefill, le valutazioni periodiche dopo aggiornamenti del modello, fine-tuning o modifiche ai template possono essere eseguite senza sostenere il costo di generare migliaia di risposte. In ambienti on-premise con risorse di calcolo limitate, questo rende più praticabile un monitoraggio frequente. Al tempo stesso, il fatto che i gradienti guidino le mutazioni indica che il framework non si limita a cercare errori superficiali: interroga la rappresentazione interna del concetto di sicurezza, un livello che i filtri sulle risposte non coprono.

Resta un punto delicato: la selezione dei neuroni di sicurezza dipende da input dannosi e benigni noti, quindi la copertura dipende dalla qualità di quel campione. Ma il cambio di paradigma è chiaro: la valutazione della sicurezza può uscire dal ciclo costoso di generazione e diventare un problema di analisi delle attivazioni. Per chi fa deployment di LLM in contesti sensibili, la domanda non è più solo se il modello risponde male, ma se il fornitore o il modello scelto permette di guardare dentro abbastanza da scoprirlo prima.