Sembrava il compromesso perfetto: un modello da soli 27 miliardi di parametri capace di cavarsela su una singola RTX 6000, con output lunghi e pagine HTML demo impressionanti. Ma appena gli si affida un compito agentico — quel flusso continuo di istruzioni, azioni e correzioni che definisce l’uso pratico degli LLM — il Qwen 3.6 27B crolla. "Ogni quattro turni fa qualcosa di assolutamente senza senso", scrive u/TokenRingAI su Reddit, dopo averlo messo alla prova con llama.cpp compilato nottetempo da Git.

La storia è istruttiva per chi valuta deployment on-premise. L’utente adotta Qwen 3.5 122B in quantization a 4 bit da tempo, ed è passato di recente ai 5 bit grazie ai miglioramenti di llama.cpp che ora regge il confronto con VLLM. Nelle stesse condizioni — scheda NVIDIA RTX 6000, lo stesso runtime — il modello più piccolo, testato a 8 e 16 bit, produce output più lunghi e creativi nel singolo prompt, ma si sfalda appena la conversazione si allunga. "Non riesco a farlo smettere di sbagliare", aggiunge.

Il divario tra prestazioni monolitiche e capacità agentica non è una novità, ma qui assume contorni concreti per le infrastrutture self-hosted. Quando un’organizzazione valuta un LLM per task come la navigazione autonoma di API, la generazione di codice iterativa o il supporto continuo a operatori umani, la coerenza multi-turno è la vera cartina di tornasole. I benchmark standard, spesso basati su prompt singoli o domande isolate, rischiano di mascherare fragilità come questa.

Al di là del singolo report, il caso segnala una tensione crescente nel panorama degli LLM aperti: i modelli distillati o addestrati con forte enfasi sulla creatività di primo colpo possono mostrare discontinuità nell’inference prolungata. Qwen 3.6 27B non è il primo a soffrirne, ma la sua diffusione nella comunità on-premise — attirata dal rapporto tra VRAM e qualità del singolo output — amplifica il messaggio. Per chi fa girare tutto in locale, la scelta non è mai solo tecnica: si intreccia con la sovranità dei dati, il TCO e la prevedibilità operativa.

La risposta dell’utente è tornare al Qwen 3.5 122B, modello più pesante ma più affidabile nel flusso agentico. Anche a quantization spinta, la sua capacità di seguire istruzioni prolungate si è rivelata superiore. È un cambio di prospettiva: non conta soltanto quanto è bravo un modello a stupire con una demo, ma quanto è affidabile quando nessuno guarda lo schermo.

Intanto la discussione su Reddit cerca altre testimonianze. Se il problema fosse diffuso, metterebbe in discussione la strategia di Alibaba di promuovere il 27B come "migliore del 122B" in certe valutazioni. Per ora il campanello d’allarme suona in un angolo del laboratorio on-premise: ma è proprio lì che le fragilità diventano costi.