MiniMax-2.5 è un modello linguistico di grandi dimensioni (LLM) open-source che sta ottenendo risultati all'avanguardia in diversi ambiti, tra cui la generazione di codice, l'utilizzo di strumenti automatizzati e attività di office automation.

Dettagli tecnici

Il modello completo conta 230 miliardi di parametri (di cui 10 miliardi attivi) e, nella sua versione non quantizzata bf16, richiede ben 457GB di memoria. Un aspetto notevole è la sua ampia finestra di contesto di 200.000 token, che gli consente di elaborare e generare testi più lunghi e complessi.

Quantization e requisiti hardware

Per ridurre i requisiti hardware, è disponibile una versione quantizzata a 3-bit tramite Unsloth Dynamic. Questa versione GGUF riduce le dimensioni del modello a soli 101GB, con una riduzione del 62%. Questa ottimizzazione rende possibile l'esecuzione di MiniMax-2.5 su sistemi con risorse di memoria più limitate, aprendo nuove possibilità per il deployment on-premise.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.