Token al secondo non è tutto

Un utente di Reddit ha condiviso la propria esperienza nell'utilizzo di diversi modelli linguistici di grandi dimensioni (LLM) per attività di sviluppo agentico. Inizialmente, l'utente aveva optato per Qwen3 Coder Next, attratto dalle elevate velocità di elaborazione dei token (circa 1000 token/s per il prompt e 37 token/s per la generazione) su una RTX 5070 TI con 96GB di DDR4.

La stabilità batte la velocità

Nonostante le promettenti velocità, il sistema si è rivelato instabile, con frequenti crash del backend e progressi complessivi lenti (circa 15 task completati su 110 in un giorno). Frustrato, l'utente ha deciso di provare Qwen3.5 122B, un modello con specifiche inferiori (700 token/s prefill e 17 token/s generazione).

Con sorpresa, Qwen3.5 122B ha completato circa il doppio del lavoro nello stesso tempo, con meno errori, maggiore stabilità e una migliore qualità del codice. L'esperienza dimostra che la velocità di elaborazione dei token non è l'unico fattore determinante per la produttività reale, e che modelli più grandi e stabili possono risultare più efficienti per compiti complessi.

Per chi valuta deployment on-premise, esistono trade-off tra velocità di inference e stabilità del modello, come discusso in AI-RADAR /llm-onpremise.