Un task di refactoring, una verifica dei fine riga e poi, all'improvviso, una voce enciclopedica su Lee Kuan Yew. Succede in un ambiente di inference locale, con una RTX 5070 Ti, il progetto Strata e un modello Qwen3.8-27B portato in quantization IQ3_XXS. L'utente racconta di aver registrato un incremento tra 2 e 3 volte nelle prestazioni rispetto alle varianti IQ4XS usate in precedenza, ma anche un'anomalia difficile da ignorare: nei pensieri di ragionamento del modello, mentre pianificava la rimozione di codice e commenti ridondanti da una codebase, è comparsa una biografia completa del politico singaporiano.

Il dettaglio tecnico rende il caso più interessante. Il modello stava affrontando un sotto-task concreto: scrivere uno script probe_eol.js per distinguere i file con fine riga CRLF da quelli LF, scegliere i caratteri corretti da usare nelle specifiche JSON e procedere file per file. Nel mezzo di queste istruzioni operative, la sequenza si interrompe con un passaggio estraneo: dopo una frase su Zoo che controlla i fine riga, il testo vira sulla biografia di Lee Kuan Yew, la formazione a Cambridge, il Middle Temple e il figlio Lee Hsien Loong. Non è una semplice allucinazione fattuale: è un cambio di registro che avviene dentro il flusso di ragionamento, senza alcun collegamento con il task.

Per chi esegue modelli in locale, l'episodio ha implicazioni che vanno oltre la stranezza. I log di ragionamento non sono più una scatola nera invisibile: in molti stack self-hosted vengono usati per diagnosticare errori, verificare passaggi intermedi e, in prospettiva, alimentare pipeline agentiche. Se un modello quantizzato produce interpolazioni di contesto così nette, la tracciabilità del processo decisionale diventa fragile. Un conto è un errore di sintesi, un conto è la perdita di separazione tra il task operativo e una knowledge base latente.

Il caso non dimostra che la quantization IQ3_XXS abbia causato direttamente la digressione. Ma mostra un trade-off comune negli ambienti on-premise: per far girare un modello da 27 miliardi di parametri su una scheda consumer servono compressioni spinte. Il guadagno di velocità è reale, e l'utente lo quantifica in modo esplicito; il costo può emergere in fase di reasoning, proprio dove la supervisione umana tende a essere più bassa perché si guarda il risultato finale, non i pensieri intermedi.

Visto in prospettiva, l'episodio segnala un problema strutturale per l'inference locale: non si tratta solo di disporre di token prodotti più rapidamente, ma di sapere se quei token interni restano allineati con il compito. La battuta finale dell'utente, che ipotizza una futura specializzazione in psicopatologia degli LLM, ha un fondo serio: i guasti dei modelli quantizzati non saranno solo bug di performance, ma comportamenti da classificare e correggere. Per chi valuta deployment on-premise, il caso tocca un trade-off che AI-RADAR esplora nei propri framework su /llm-onpremise: la scelta tra modelli più grandi quantizzati in modo aggressivo e modelli più piccoli a precisione maggiore non si riduce alla velocità di generazione.