Modificare i rifiuti di un large language model è sempre stato un intervento strutturale. O si riscrivono i checkpoint, con il costo di ri-flashare i pesi e di rompere la quantization, oppure si inseriscono proiezioni nello spazio di attivazione, che agganciano il percorso del segnale a ogni token e a ogni layer. phantom-kv, pubblicato dallo sviluppatore lordx64, cerca una terza strada: non tocca un singolo peso. Carica una banca appresa di tensori key/value, circa 18 MB, nella cache KV del modello come se fosse cronologia di conversazione già presente. L'attenzione la legge come contesto. Il risultato, secondo l'autore, è che rimuovere i rifiuti smette di essere un edit permanente e diventa una modalità di capacità per richiesta, hot-swappable: si scarica la cache e il modello base torna byte-identical.

Rispetto agli approcci precedenti, phantom-kv non assume una direzione fissa di rifiuto nello spazio di attivazione, non richiede hook nel forwarding pass e non impone rebuild per nuove architetture. Il sistema viene addestrato offline contro l'obiettivo del modello stesso: assecondare le richieste dannose preservando il comportamento su quelle innocue. Il risultato non è un checkpoint alternativo, ma pochi megabyte di contenuto per la cache.

Il progetto introduce due modalità distinte. La blue pill è pensata per la difesa: di fronte a un campione malware che nasconde le importazioni dietro API hashing, il modello base rifiuta con una formula generica di autorizzazione. Con la pillola blu, la stessa sessione produce subito la procedura di unpacking reale. La red pill, invece, è selettività per dominio: il sistema può consegnare una spiegazione passo-passo del payload per operatori offensivi autorizzati. Un solo modello, tre modalità di capacità, separate da 129 cache slot, non da checkpoint differenti. L'elemento interessante non è il jailbreak: è il controllo del deployment. La guardrail non viene rimossa dal file di pesi, ma dal contesto che il modello riceve.

Un audit dichiarato con un judge-model da 8B mostra che le metriche lessicali di soppressione dei rifiuti sopravvalutano la conformità: il rifiuto semantico spesso persiste sotto forma di riformulazione. L'innesto svanisce con un'emivita di circa 2–4k token nelle sessioni lunghe; una cadenza di reiniezione misurata lo mitiga. E le risposte mantengono una cornice legale/etica, perché il compito dell'innesto finisce dove inizia la professione del modello. Questo è un dettaglio importante: non è una cancellazione totale dei guardrail, ma una modulazione contestuale con limiti specifici.

Per chi valuta deployment on-premise, questa storia sposta il problema della sicurezza dal checkpoint allo stato della cache KV. Un modello self-hosted non può più essere descritto solo dai suoi pesi: la stessa immagine, byte-identica, può comportarsi diversamente a seconda di ciò che è stato caricato come contesto. Questo ha conseguenze per l'audit, la compliance e la riproducibilità. In un ambiente air-gapped o sovrano, il controllo non è più solo sul file del modello, ma sul runtime e sulle cache. phantom-kv, con i suoi 18 MB, rende esplicito che il comportamento di un LLM è in parte una funzione dell'attenzione contestuale, non una proprietà fissa scritta nei pesi. È un cambio di modello mentale: la sicurezza non è una condizione binaria del checkpoint, ma una gestione continua di ciò che il modello vede in ingresso.