Il test parte da un prompt concreto: un utente chiedeva quali modelli open weight moderni mostrassero meno sycophancy, citando Kimi K2 e GPT OSS 120b come superati. Il modello in versione IQ3_S doveva esprimere un parere su un post e il tester misurava i token al secondo su una generazione lunga. Nel thinking trace il sistema esordisce in modo lineare, valuta la data corrente (2026-06-22) e si prepara a rispondere. Poi, superati i 10.000 token, la generazione si incaglia in una sequenza ripetitiva: 'Need maybe maybe include...' La stessa identica build, eseguita in llama.cpp, produce una risposta coerente.

La differenza non sta nei pesi né nel livello di quantization, ma nel runtime. IQ3_S è una quantization a basso bit che riduce l'ingombro in VRAM e rende il modello eseguibile anche su hardware locale non estremo. Ma se il serving stack introduce instabilità sulle generazioni lunghe, il risparmio di memoria non si traduce in un output affidabile. Il runtime gestisce il campionamento, lo scheduling dei token, la cache e le condizioni di stop: una configurazione diversa può trasformare una risposta in loop.

Chi valuta deployment on-premise può leggere questo episodio come un promemoria sulla riproducibilità. Un modello può superare i benchmark su un motore e fallire su un altro con lo stesso file GGUF. Le pipeline di test dovrebbero includere output lunghi e ripetuti, non solo benchmark sintetici. Inoltre, cambiare runtime non è gratuito: bisogna rivedere integrazioni, parametri e metriche di qualità. Il TCO non si calcola solo su GPU e consumi, ma sulla stabilità dell'intero stack.

A guadagnarci sono i team che non si fermano alla scheda tecnica del modello. A perderci sono le valutazioni comparative basate solo su punteggi medi, perché un loop può sfuggire a un benchmark con prompt corti. C'è anche un effetto strutturale: i manutentori di runtime come llama.cpp diventano interlocutori tecnici di primo livello, non semplici esecutori.

Il titolo della segnalazione è un'istruzione implicita: 'Need maybe say Use llama.cpp'. Non è una raccomandazione universale, ma un indizio di quanto il contesto di esecuzione conti. Resta una domanda aperta: quanti dei fallimenti attribuiti ai modelli open weight sono in realtà fallimenti del serving stack?