Un utente di LocalLLaMA ha riportato un interessante comportamento nei modelli Devstral 2 123B e 24B.

Ragionamento logico ibrido

Sembra che questi modelli possano essere spinti a un ragionamento logico più approfondito e coerente tramite l'utilizzo di template Jinja. Inserendo l'istruzione {%- set reasoning_content = 'High' %} nel template, si attiva una modalità di ragionamento ibrida che migliora la qualità delle risposte.

Considerazioni

L'utente ha notato che la versione più piccola del modello (24B) potrebbe avere difficoltà a interrompere il processo di pensiero, almeno con alcune impostazioni di campionamento. La versione più grande (123B) sembra invece funzionare correttamente. In generale, la qualità delle risposte ottenute con questo approccio è significativamente superiore.

Per chi valuta deployment on-premise, esistono trade-off tra dimensione del modello, requisiti hardware e capacità di ragionamento. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.