La maggior parte dei filtri di sicurezza per Large Language Models ragiona su scambi singoli: domanda-risposta, fine. Una conversazione prolungata, invece, può tessere innocui frammenti in una minaccia composita. È ciò che un nuovo filone di ricerca chiama Conversational Risk Accumulation (CRA): deriva graduale dell'intento, assemblaggio frammentato di istruzioni proibite, e incremento della sensibilità attraverso divulgazioni ripetute. Il problema è sfuggente per qualsiasi sistema che guardi solo al fotogramma, non al film.

Un gruppo di autori ha proposto un framework a livello di sessione che tiene traccia di tre segnali: drift semantico rispetto a un ancoraggio iniziale, un grafo di accumulo informativo pesato sulla sensibilità delle entità estratte, e un gradiente di compliance che cattura la crescente disponibilità del modello a obbedire. Per il punteggio vengono forniti sia un metodo non supervisionato a fusione convessa, sia CRA-Net DA, un modello addestrato con obiettivi avversariali per ridurre le distorsioni da lunghezza e copertura tematica.

A supporto è stato rilasciato CRA-Bench, benchmark in più versioni: 1.200 sessioni da otto turni su tre famiglie di minacce (con gemelli benigni a parità di topic), varianti parafrasate da LLM per eliminare artefatti, e un set esteso a 2.000 sessioni con priming di persona e context stuffing. Il protocollo di valutazione è pensato nativamente per traiettorie: split a livello di sessione, calibrazione a soglia mista, Trajectory AUROC, metriche di falsi positivi calibrati, e stress test leave-one-family-out.

Perché interessa a chi fa deployment on-premise

Chi gestisce LLM in self-hosted su infrastruttura proprietaria ha a che fare con domini dove la multi-turn è la norma: assistenti interni per documentazione sensibile, chatbot di customer care che accedono a dati regolati, analisi incrementali su fascicoli aziendali. L’approccio stateful risponde a un bisogno di audit che i guardrail “a singolo turno” non possono soddisfare: la possibilità di ricostruire come una conversazione abbia accumulato rischio, svolta dopo svolta, è essenziale per dimostrare conformità in contesti normati.

In ambienti air-gapped o con vincoli stringenti di residenza dei dati, la trasparenza del meccanismo di accumulo diventa un asset di controllo: si può verificare perché una sessione è stata bloccata, senza inviare log a servizi esterni. Inoltre, la sensibilità a derive semantiche graduali è critica quando un utente interno, anche senza intento malevolo, combina informazioni in modo da costruire una richiesta non consentita.

C’è un risvolto infrastrutturale: tenere traccia dello stato di sessione richiede memoria aggiuntiva e una pipeline di inference che conservi gli embedding o le rappresentazioni intermedie. Il costo computazionale extra, seppur ancora da quantificare su scala, tocca il TCO di un deployment localizzato perché incide sulla latenza percepita e sulla quantità di VRAM necessaria per sostenere sessioni concorrenti. Non è un dettaglio da poco quando si dimensionano cluster per centinaia di dialoghi paralleli senza compromettere la fluidità.

Il framework apre la strada a un concetto più ampio: man mano che le organizzazioni spostano i carichi di lavoro LLM verso ambienti controllati, la sicurezza cessa di essere una proprietà dell’input istantaneo e diventa una funzione della traiettoria. Chi progetta stack on-premise oggi deve già chiedersi se i motori di serving (vLLM, TGI e simili) potranno incorporare moduli di questo tipo senza riscrivere l’architettura di gestione del contesto. La direzione è quella di un middleware di sessione che valuta il rischio cumulato, e CRA-Bench fornisce un primo metro per misurare se un sistema è all’altezza.