Chi gestisce modelli locali conosce il peso dei checkpoint: ogni variante abliterated di un LLM può costare centinaia di gigabyte. Un post pubblicato su Reddit da /u/returnity mostra però che per Qwen3.8-Flash-Next non serve scaricare un nuovo modello. La maggior parte delle tecniche di abliteration è di tipo rank-1: la direzione del rifiuto può essere compressa in un piccolo LoRA e applicata a runtime sulla quantization già presente su disco, anche in modalità per-request.
L'autore ha costruito il LoRA a partire da huihui v2, scelto dopo aver confrontato heretic, Orcarouter e le versioni v1/v2 di huihui su livelli di quantization equivalenti. Nei benchmark Aider Polyglot, huihui ha superato perfino il modello base, con meno ragionamento aggiuntivo e senza i loop di generazione che invece hanno penalizzato Orcarouter. I controlli su Wikitext e perplessità non hanno mostrato degradazione significativa: il KLD rispetto alla base Unsloth Q5_K_XL è 0,040 e il top token condiviso è del 93,7%. Sul Jailbreak Bench, i rifiuti con thinking sono scesi da 93/100 a 3/100.
Il passaggio più interessante è come il LoRA è stato estratto. L'autore ha usato un approccio di programmazione nello spazio dei pesi con Claude Opus 5.5, diffando i pesi originali di huihui rispetto alla quantization Unsloth su cui era costruito. Ha raccontato di aver aggirato più volte le protezioni del modello rinominando i file in modo innocuo e dichiarando di lavorare a un 'anti-slop LoRA'; anche il modello di fallback Opus 4.8 ha rifiutato un paio di volte. È un dettaglio che va oltre l'aneddoto: estrarre una direzione di rifiuto da un LLM sorvegliato per modificare il comportamento di un altro LLM solleva questioni di governance e audit che non si risolvono con la sola qualità tecnica.
Sul piano operativo, llama.cpp supporta due modalità. Con --lora-init-without-apply il server carica il LoRA ma non lo applica al prompt: resta in attesa di essere attivato nel body della richiesta tramite il campo lora, con id 0 e scale 1.0. Questo permette di servire il modello non modificato per la maggior parte delle richieste e intervenire solo quando l'inference restituisce un rifiuto: un agente può osservare il rifiuto, riattivare il prompt e proseguire la sessione. Il costo aggiuntivo è un re-prefill completo, un vincolo da tenere presente per sessioni lunghe o contesti estesi.
Le implicazioni non sono solo per chi smanetta con llama.cpp. Se il comportamento di rifiuto diventa un layer di runtime separato, chi gestisce deployment self-hosted può mantenere una sola quantization di base e attivare il LoRA solo dove serve. Questo riduce storage, banda e TCO, e rende la configurazione del modello più modulare e auditabile. La fonte segnala che approcci simili con control vector funzionano anche in Strata con --experimental-speed-projection e in ds4/dwarfstar: il pattern non è confinato a un singolo server.
Non è detto che i checkpoint abliterated spariscano: per molti utenti un modello già pronto resta più semplice. Ma il caso di Qwen3.8-Flash-Next mostra che la direzione del rifiuto può essere separata dal resto dei pesi e distribuita come un artefatto leggero. Per chi valuta LLM on-premise, lo spostamento concettuale è chiaro: non si tratta più di scegliere tra modelli alternativi, ma di gestire trasformazioni attive su una base condivisa. Un checkpoint, più comportamenti.
💬 Commenti (0)
🔒 Accedi o registrati per commentare gli articoli.
Nessun commento ancora. Sii il primo a commentare!