Un utente ha recentemente condiviso le proprie impressioni sul modello linguistico Qwen 3.5 397B, sottolineandone le prestazioni in diversi test.

Efficienza e costo

L'aspetto più interessante sembra essere la sua capacità di fornire risultati validi anche senza un processo di ragionamento particolarmente elaborato. Questo, secondo l'utente, si traduce in un costo di inference contenuto, stimato intorno a 1 dollaro. Alcuni modelli più recenti richiedono un ragionamento più approfondito, il che può raddoppiare i costi di inference.

Per chi valuta deployment on-premise, esistono trade-off tra costi iniziali (CapEx) e operativi (OpEx). AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.