Un utente racconta di aver scaricato una versione Q4 di Qwen3.8-27B e di averla eseguita in locale con llama.cpp su una RTX 4090. Le prime prove erano convincenti: bugfix complessi, istruzioni rispettate, compiti articolati portati a termine. Poi qualcosa è cambiato. Il modello ha cominciato a dimenticare le istruzioni, a fallire attività di base e a non completare i lavori più lunghi. L'ipotesi dell'utente è drastica: qualcuno lo avrebbe sottoposto a una nuova quantization e peggiorato di nascosto, per far sembrare migliore Qwen4. Nessuna prova, nessun benchmark, solo frustrazione.

Il punto non è stabilire se l'accusa sia fondata. È che nei deployment self-hosted il termine aggiornamento è spesso un eufemismo: cambiare file scaricato, cambiare versione di llama.cpp o modificare i parametri di sampling può produrre un peggioramento percepito anche quando i pesi originali restano identici. La quantization Q4 non è un processo neutro: la calibrazione, la gestione degli outlier e il metodo di compressione influiscono sulla qualità, e i file pubblicati da terze parti possono essere rigenerati con impostazioni diverse senza che l'utente ne abbia traccia.

Qui si apre la vera zona cieca dell'inference locale. Chi sceglie un LLM self-hosted spesso lo fa per controllo e sovranità dei dati, ma il controllo non finisce quando il modello gira sulla propria GPU. Conta la provenienza del file, l'hash crittografico, la versione del runtime e la possibilità di ricostruire lo stesso identico ambiente. Senza questi elementi, il deployment on-premise somiglia a un cloud senza contratti: si possiede l'hardware, ma si dipende da artefatti opachi.

La vicenda ha implicazioni che vanno oltre il singolo forum. Le API cloud versionate offrono endpoint stabili e politiche di deprecazione; un file locale scaricato da un repository comunitario non ha lo stesso livello di garanzia. Chi valuta l'on-premise per ragioni di sovranità deve considerare anche la sovranità sulla filiera del modello, non solo quella sull'infrastruttura. Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per valutare questi trade-off.

La lezione non è che Qwen3.8-27B sia stato sabotato. È che nell'inference locale un peggioramento improvviso può avere cause multiple e raramente documentate. Finché i file Q4 circolano senza metadati di provenienza, il controllo resta incompleto e la frustrazione degli utenti segnala un problema strutturale, non un difetto del singolo modello.