Qwen3.5 122B: ottimizzazione su hardware consumer

Un utente ha testato il modello Qwen3.5 122B A10B, quantizzato con Unsloth, su una configurazione hardware composta da una RTX 4090, una RTX 3090, un Intel i7 13700k e 128 GB di RAM DDR5 a 5600 MHz. L'obiettivo era ottenere performance stabili, superando le difficoltà incontrate con precedenti quantizzazioni.

Configurazione e performance

L'utente ha riscontrato che la configurazione manuale dei tensori tramite parametri specifici (--n-cpu-moe 33 -ts 4,1 -c 32000) offre performance superiori rispetto all'utilizzo del flag --fit. In particolare, la velocità di elaborazione del prompt è passata da 30.8 token/s a 143.4 token/s, mentre la generazione è migliorata da 9.1 token/s a 18.6 token/s. Questo incremento di circa il 50% si traduce in una minore degradazione delle performance con contesti più ampi.

Cache BF16 e repeat penalty

L'utilizzo della cache BF16 (-cache-type-k bf16 --cache-type-v bf16) ha migliorato la qualità del ragionamento del modello, evitando loop logici riscontrati con la configurazione predefinita FP16. Inoltre, l'applicazione di un "repeat penalty" (--presence-penalty 1.1 --repeat-penalty 1.05 --repeat-last-n 512) si è rivelata necessaria per prevenire la ripetizione di pattern nel testo generato, un comportamento non osservato in altri modelli testati dall'utente.

Impressioni finali

Nonostante i miglioramenti ottenuti tramite l'ottimizzazione, l'utente considera Qwen3.5 122B A10B ancora troppo lento per un utilizzo agentico efficace, preferendo modelli alternativi come Minimax M2.5 IQ4_NL per capacità di ragionamento e velocità. L'utente ipotizza che llama.cpp possa non essere completamente ottimizzato per questo specifico modello.