Quando un modello genera token più lentamente eppure chiude i compiti in metà tempo, i consueti benchmark dell'inference locale meritano una revisione. È il caso di una comparativa condotta su hardware self-hosted: due nodi StrixHalo da 128 GB, collegati via USB-C 4, con Llama (RPC) come motore di inference. I modelli al centro del test sono DeepSeek-V4-Flash-Vision e Qwen3.8-Flash-Next, entrambi in quantization Q8_K_XL.

Il dato più interessante non è la velocità di generazione. DeepSeek-V4-Flash-Vision è circa il 40 per cento più lento nella sola produzione di token; nonostante questo, porta a termine gli stessi compiti in circa la metà del tempo. La ragione sta nel comportamento differente dei due sistemi. Qwen3.8-Flash-Next tende a sovrainterpretare le consegne: se l'istruzione non è dettagliata e lascia margini creativi, il modello aggiunge elementi non richiesti e si blocca nei dettagli. DeepSeek-V4-Flash-Vision, secondo l'osservazione sul campo, produce meno allucinazioni e incontra meno ostacoli lungo il percorso.

Il distacco emerge in modo netto nelle modalità più aggressive. Un compito chiuso da Qwen3.8-Flash-Next in 25 minuti in modalità «medium» non è stato completato in circa tre ore in «xhigh». DeepSeek-V4-Flash-Vision ha chiuso lo stesso task in 12 minuti nel giro più rapido in «medium», e in 37 e 44 minuti nelle due iterazioni in «max».

Per chi gestisce carichi professionali su infrastruttura propria, il confronto mette in discussione la metrica dei soli token al secondo. Un modello che produce molto in fretta ma genera testo da correggere, riformulare o scartare sposta il costo dal calcolo grezzo all'intervento umano. Il TCO di un deployment on-premise non si misura quindi soltanto sulla velocità di picco, ma sul numero di iterazioni necessarie per arrivare a un output utilizzabile. In questo scenario, la minore tendenza di DeepSeek-V4-Flash-Vision a disperdersi in interpretazioni laterali si traduce in un vantaggio operativo anche a fronte di token più lenti.

Va detto che il test non smentisce la qualità di Qwen in generale. L'autore dichiara di stimare e usare molto sia Qwen 3.6 27B sia Qwen 3.8 27B. Il punto è più specifico: su hardware sufficiente per eseguire DeepSeek-V4-Flash-Vision, la preferenza per il codice professionale cambia. E cambia anche il criterio con cui valutare i modelli locali: meno attenzione alla brillantezza della singola generazione, più attenzione al tempo reale per chiudere un task senza attriti.