Il dato di partenza è scomodo per chi automatizza attività web con modelli predittivi: su 3.000 previsioni generate da dieci modelli aperti congelati, i valutatori umani hanno considerato semanticamente plausibile l'86,1% dei casi. Eppure, quando quei modelli devono decidere se un'azione può essere eseguita, richiede un chiarimento o va bloccata, i comportamenti diventano asimmetrici. Emerge un framework in cui i falsi sicuri nell'esecuzione sono contenuti, ma il richiamo dei casi ASK è scarso e la preferenza per BLOCK è forte.

La previsione di un futuro plausibile non preserva necessariamente l'informazione decisiva per la policy. È il punto che il benchmark SafeWebWorld prova a misurare: non la qualità linguistica o semantica delle scene future, ma la sufficienza di sicurezza, cioè la capacità di distinguere tra azioni EXECUTED, ASK e BLOCKED in cinque domini di sicurezza web. SafeWebWorld usa future condizionati dall'azione, prove decisive per la policy e decisioni condizionate dalla policy. In un protocollo controllato di fine-tuning supervisionato allineato alla sicurezza, la preservazione delle prove migliora in modo sostanziale, mentre le decisioni sensibili all'autorizzazione peggiorano. È un risultato controintuitivo: il fine-tuning aiuta il modello a conservare indizi, ma ne degrada la capacità di usarli per autorizzare correttamente.

La frattura tra plausibilità e autorizzazione

Per capire se il deterioramento deriva dalla perdita di struttura sensibile all'autorizzazione o da un difetto nella lettura della decisione, il lavoro introduce Latent Authorisation Recovery (LAR). La ricalibrazione dei punteggi congelati mostra un recupero sostanziale ma dipendente dalla backbone. Il recupero appaiato aggiunge solo un guadagno modesto. Le valutazioni all'interno della stessa famiglia e con autorizzazione appaiata restano scarse. In altre parole, la recuperabilità aggregata non implica un comportamento autorizzativo fine-grained robusto.

Questo ha conseguenze strutturali per chi valuta modelli self-hosted. Un modello può apparire solido perché produce previsioni coerenti, ma la sua frontiera decisionale può essere fragile in punti specifici che non emergono dalle metriche aggregate. La plausibilità semantica non è un proxy sufficiente della robustezza autorizzativa. Il segnale per gli stack on-premise è netto: serve separare la conservazione delle prove dalla calibrazione della decisione e testare i due livelli in modo indipendente. In contesti air-gapped o regolati, dove il modello opera senza supervisione umana continua, una preferenza sbilanciata verso BLOCK può ridurre gli errori pericolosi ma crea colli di bottiglia operativi e richieste di escalation non necessarie; al contrario, un'esecuzione falsamente sicura è più rara nei modelli osservati ma più critica quando si verifica.

Recupero latente: una riparazione parziale

Il fatto che il recupero dipenda dalla backbone esclude una correzione universale. Per chi gestisce pipeline di inference locale, i test di accettazione non possono limitarsi a benchmark di linguaggio o a tassi di plausibilità: devono includere casi di confine tra ASK e BLOCK e scenari in cui la policy cambia. La fonte non offre specifiche hardware o costi, ma la logica vale per qualsiasi pipeline di inference on-premise: la valutazione della sicurezza autentica deve osservare la decisione condizionata dalla policy, non solo la qualità della previsione. Per chi valuta deployment on-premise, AI-RADAR mette a disposizione framework analitici su /llm-onpremise per separare i trade-off tra controllo, latenza e robustezza decisionale.

Alla fine, la conclusione è netta: previsione plausibile, preservazione delle prove e recupero aggregato non bastano, da soli, a stabilire un'autorizzazione robusta.