Un utente di Reddit ha condiviso la propria esperienza con il modello Qwen3.5-35B-A3B-UD-Q6_K_XL, esprimendo entusiasmo per le sue performance in scenari di utilizzo reali.

Performance e velocità

Nei test effettuati, il modello ha raggiunto una velocità di 1504 token per 2048 e 47.71 token per 256. La velocità di generazione dei token è risultata elevata, soprattutto quando il modello è stato eseguito su una singola GPU, raggiungendo gli 80 token al secondo.

Test su progetti reali

L'utente ha testato il modello su diversi progetti, utilizzando Git Worktrees per simulare modifiche specifiche e funzionalità. I risultati sono stati positivi, con la maggior parte dei problemi risolvibili con modifiche minime o prompt aggiuntivi.

Modello ibrido e considerazioni sull'hardware

L'esperienza ha portato l'utente a considerare un modello ibrido, utilizzando API per modelli all'avanguardia per la generazione di specifiche e modelli locali per l'esecuzione del lavoro. L'utente sta valutando l'acquisto di una RTX 6000 Pro, considerando i costi di abbonamento a servizi cloud e il potenziale miglioramento dei modelli locali. Per chi valuta deployment on-premise, esistono trade-off discussi in dettaglio su /llm-onpremise.

Conclusioni

L'utente ha espresso grande soddisfazione per le performance di Qwen3.5, sottolineando il suo potenziale per l'utilizzo in ambienti di produzione e la possibilità di ridurre la dipendenza da servizi cloud a pagamento.