Nuovo framework di allenamento migliora la ragione multimodale con dataset più piccoli

\n## Introduzione\n\nIl nuovo framework di allenamento, chiamato OpenMMReasoner, è stato sviluppato dai ricercatori della MiroMind AI e diverse università cinesi.\n\n\n\n## Dettagli tecnici\n\nOpenMMReasoner utilizza un processo a due fasi. La prima fase rifina una base model con un dataset curato in una fase di fine tuning supervisionata (SFT). La seconda fase, guidata dalla lezione del rinforzo (RL), aiuta il modello a ragionare più efficacemente nelle attività che coinvolgono sia testo che dati visuali.\n\n\n\n## Implicazioni pratiche\n\nL'esperimento mostra che i modelli addestrati con OpenMMReasoner superano altri modelli di ragione visiva a guidaggio dei leader, spesso addestrando su un dataset più piccolo e di qualità superiore. Il framework e tutte le sue risorse, compresa una modello addestrata da 7 miliardi di parole, sono completamente aperti per fornire una base solida per costruire applicazioni che richiedono tracciabilità e robustezza.\n\n\n\n## Conclusioni e prospettive future\n\nSecondo Kaichen Zhang, uno degli autori del paper di ricerca che outlines il nuovo metodo, OpenMMReasoner offre significative vantaggi per le aziende che cercano di andare oltre i grandi sistemi chiusi. \"Un modello più piccolo e aperto a source ha vantaggi pratici: imprese possono deployarlo localmente, ridurre la latenza, ridurre i costi dei token associati alle lunghe catene di pensiero, mantenere il pieno controllo sui propri dati e [è] fine-tunabile per adattarsi ai compiti specifici downstream '\" ha detto VentureBeat.\n ## La sfida della ragione multimodale trasparente\n\nI recenti progressi nella lezione del rinforzo con premi verificabili (RLVR) hanno significativamente migliorato le capacità delle grandi modello linguistici (LLM). RLVR addestra LLM a generare chain-of-thought tokens (che rappresentano i processi di ragionamento umani) prima di generare la risposta finale. Questo migliora la capacità del modello a risolvere compiti di ragionamento complessi come matematica e programmazione.\n\n\n\n## L'OpenMMReasoner ricetta\n\nL'OpenMMReasoner affronta questo gap con una ricetta di allenamento completa e scalabile costruita sulle basi delle modello linguistici più aperte. I ricercatori hanno trovato che era fondamentale curare un dataset di alta qualità aumentando la diversità dei dati.\n\n\n\n## Il passo della distillazione\n\nLa prima fase della ricetta è un pipeline di fine tuning supervisionato a tre fasi. Inizia con data sourcing, dove il team ha raccolto circa 103.000 coppie questione risposta da dataset pubblici che coprono generali Q&A e compiti di ragionamento.\n\n\n\n## La distillazione\n\nNext, aggiungono una distillazione step, utilizzando un modello potente (Qwen3-VL-235B-Instruct) per generare nuovi, high-quality reasoning traces per le domande selezionate. Il dataset verrà utilizzato per addestrare un modello più piccolo.\n\n\n\n## La mixazione del dominio\n\nPer aumentare la diversità delle risposte, il team ha generato multiple verified reasoning traces per ogni domanda. Ciò ha espanso il dataset a 583.000 sampili. Infine, hanno implementato una fase di domain mixing, aggiungendo dati da domini come la scienza, la matematica e le enigmi per generalizzare ulteriormente l'abilità del modello di ragionamento, portando a un SFT dataset finale di 874.000 esempi.\n\n## Il passo della lezione del rinforzo\n\nLa seconda fase è una ricetta di lezione del rinforzo che utilizza un dataset più piccolo di 74.000 sampili curato da domini come la scienza, la matematica e i puzzle. Il modello viene addestrato con un composto reward function che prende in considerazione sia la correttezza della risposta finale che la consistenza del formato dell'output. Per migliorare l'efficienza, il processo include una penalizzazione per "overthinking", scoraggiando il modello da generare sequenze di ragionamento eccessivamente lunghe (un problema comune con i modelli di ragione addestrati attraverso RL, che imparano a generare risposte troppo lunghe, portando costi e risposte più lente).\n\n## La ricetta come strumento per gli aziende\n\nSecondo Zhang, il passo della lezione del rinforzo fondamentalemente cambia la affidabilità degli output del modello. \"Modelli tradizionali spesso saltano direttamente alla risposta, che significa esplorare solo una piccola porzione dello spazio di ragionamento\," ha detto Zhang. \"In contraste, un approccio di ragione prima forza il modello a esaminare esplicitamente più passi intermedi... [per farlo] arrivarci a risposte con una maggiore consistenza interna\.\n\n## Le prestazioni del modello\n\nI ricercatori hanno utilizzato la ricetta OpenMMReasoner per generare dati per fine-tunare il modello Qwen2.5-VL-7B-Instruct aperto-source vision-language. Il risultato è un LMM molto capace che supera costantemente i metodi di ragione visiva più avanzati, come Open Vision Reasoner (OVR), su una gamma ampiamente di benchmarks di ragione multimodale. La prima fase della fine tuning sola crea un modello di base forte che raggiunge prestazioni superiori e efficienza dati a confronto con altri approcci di fine tuning a SFT, nonostante l'utilizzo di un dataset più piccolo.\n\n## L'emergere graduale dei comportamenti di ragionamento linguistici\n\nUno degli scopi del progetto fu quello di esplorare l'emergere graduale dei comportamenti di ragionamento linguistici, indicando una trasferenza della competenza di ragionamento da modali multi a compiti linguisticamente puri. Il risultato è che il modello supera costantemente i metodi di ragione visiva a guidare dei leader su una gamma ampiamente di benchmarks di ragione multimodale.\n\n## Le prospettive future del progetto\n\nSecondo Zhang, OpenMMReasoner offre un potenziale importante per la creazione di modello linguistici più robusti e adatti a diverse applicazioni.

\n## Introduction\n\nThe new training framework, called OpenMMReasoner, was developed by researchers from MiroMind AI and Chinese universities.\n\n\n\n## Technical Details\n\nOpenMMReasoner uses a two-stage process. The first stage refines a base model with a curated dataset in supervised fine-tuning (SFT). The second stage, guided by reinforcement learning (RL), helps the model to reason more effectively on tasks involving both text and visual data.\n\n\n\n## Practical Implications\n\nThe experiment shows that models trained with OpenMMReasoner surpass other vision-guided leaders, often training on smaller and higher-quality datasets. The framework and all its resources, including a 7-billion-parameter model, are fully open-sourced to provide a solid base for building applications requiring transparency and robustness.\n\n\n\n## Conclusion and Future Prospects\n\nAccording to Kaichen Zhang, one of the authors of the research paper that outlines the new method, OpenMMReasoner offers significant advantages for companies looking beyond closed systems. \"A smaller and open-source model has practical benefits: companies can deploy it locally, reduce latency, reduce token costs associated with long thinking chains, maintain full control over their data, and [is] fine-tunable for downstream specific tasks '\" said VentureBeat.\n ## Multimodal Reasoning Transparency Challenge\n\nRecent progress in reinforcement learning with verifiable rewards (RLVR) has significantly improved the capabilities of language models (LLMs). RLVR trains LLMs to generate chain-of-thought tokens (representing human reasoning processes) before generating the final response. This improves the model's ability to solve complex tasks such as mathematics and programming.\n\n## OpenMMReasoner Recipe\n\nOpenMMReasoner addresses this transparency challenge with a complete and scalable training framework built on top of open-source language models. Researchers found that curating high-quality data increased dataset diversity.\n\n## The Distillation Step\n\nThe first stage of the recipe is a three-stage supervised fine-tuning pipeline. It begins with data sourcing, where the team collected approximately 103,000 question-answer pairs from publicly available datasets covering general Q&A and reasoning tasks.\n\n## The Distillations\n\nNext, they added a distillation step using a powerful model (Qwen3-VL-235B-Instruct) to generate new, high-quality reasoning traces for selected questions. The dataset will be used to train a smaller model.\n\n## Domain Mixing\n\nTo increase response diversity, the team generated multiple verified reasoning traces per each question. This expanded the dataset to 583,000 samples. Finally, they implemented a domain mixing step, adding data from domains such as science, mathematics, and puzzles to further generalize the model's reasoning ability, resulting in an SFT dataset final of 874,000 examples.\n\n## Reinforcement Learning Step\n\nThe second stage is a reinforcement learning framework that uses a smaller dataset of 74,000 samples from domains such as science, mathematics, and puzzles. The model is trained with a combined reward function that takes into account both the final response correctness and output formatting consistency. To improve efficiency, the process includes an overthinking penalty, discouraging the model to generate excessively long chains (a common problem in RL-trained models that result in longer thinking costs and slower responses). \n## OpenMMReasoner as a Tool for Companies\n\nAccording to Zhang, the reinforcement learning step fundamentally changes the model's output trustworthiness. \"Modeling approaches typically jump directly to the response, exploring only a small portion of the reasoning space\," said Zhang. \"In contrast, an approach focused on reason first forces the model to explicitly examine intermediate steps... [to] arrive at responses with greater internal consistency\.\n\n## Model Performance\n\nResearchers used OpenMMReasoner to generate data for fine-tuning the Qwen2.5-VL-7B-Instruct open-source vision-language model. The result is a highly capable LMM that consistently surpasses advanced vision-guided leaders, including Open Vision Reasoner (OVR), on a wide range of multimodal reasoning benchmarks. The first stage of fine-tuning alone creates a strong base model that outperforms other SFT fine-tuning approaches in terms of efficiency and quality, despite using smaller datasets.\n\n## Emergent Language Reasoning\n\nOne of the project's goals was to explore the gradual emergence of language reasoning behaviors, indicating a transfer of reasoning ability from multi-modal to purely linguistic tasks. The result is that the model consistently surpasses vision-guided leaders on a wide range of multimodal reasoning benchmarks. ## Future Prospects for the Project\n\nAccording to Zhang, OpenMMReasoner offers significant potential for creating more robust and adaptable language models suitable for diverse applications.