Un modello da 30 miliardi di parametri non è più, per forza, un carico da datacenter. KRAFTON AI ha pubblicato Raon-1 mini preview, un Mixture-of-Experts da 30B totali e 4B attivi, e ha indicato un percorso di deployment concreto: con quantization NVFP4 l'inference può funzionare su una singola NVIDIA RTX 5090 da 32 GB di VRAM. Non è un dettaglio da scheda tecnica. È il punto in cui la corsa agli LLM aperti si sposta dai numeri dei parametri alla praticabilità hardware.
Raon-1 mini è un modello addestrato da zero, non un fine-tuning di una base esistente. La casa madre lo posiziona su due terreni: conversazione in coreano e task agentici, con supporto dichiarato a strumenti come Hermes Agent, Pi e OpenCode. La licenza Apache 2.0 toglie molti vincoli di distribuzione e modifica, un elemento rilevante per chi vuole mantenere il controllo dell'ambiente di esecuzione.
Il pacchetto include anche un modello draft DFlash2 per la speculative decoding, una tecnica che accelera l'inference facendo proporre token a un modello più piccolo e usando il modello principale per verificarli. In combinazione con un MoE a basso numero di parametri attivi, l'effetto pratico è una riduzione della pressione sulla VRAM e sulla latenza percepita, soprattutto su hardware locale.
Il dato più interessante, però, è la scelta di pubblicare formati di quantization NVFP4 e MXFP8. NVFP4 è un formato a 4 bit legato alle GPU NVIDIA più recenti; la scheda del modello lo associa esplicitamente alla RTX 5090 da 32 GB. Questo non significa che Raon-1 mini sia un modello consumer in senso stretto: i 30B totali richiedono comunque un certo spazio, e la quantization aggressiva introduce trade-off che vanno valutati sul campo in termini di qualità delle risposte e stabilità.
Per chi guarda al self-hosted, il messaggio strutturale è chiaro: i fornitori di modelli aperti cominciano a progettare non solo i pesi, ma anche il percorso di serving. Draft model e formati di quantization vengono consegnati insieme al checkpoint, riducendo il lavoro di adattamento infrastrutturale. Questo cambia gli incentivi: diventa più realistico valutare un LLM agentico su hardware di proprietà, senza passare da API cloud, soprattutto quando i flussi coinvolgono dati linguistici o aziendali che si preferisce non spostare.
C'è anche un secondo effetto, meno visibile. L'adozione di NVFP4 come via d'accesso principale lega il deployment a una specifica linea di GPU NVIDIA. È un vincolo di fatto, anche se la licenza del modello rimane aperta. Le alternative MXFP8 o altri formati non cancellano la dipendenza dall'ecosistema hardware, ma la spostano. Per un team che valuta on-premise, il costo di una RTX 5090 può essere più prevedibile di un billing cloud, ma il TCO include manutenzione, alimentazione e sostituzione.
Raon-1 mini preview è anche un segnale di maturazione dell'offerta open: un'azienda nota soprattutto nel gaming investe in un LLM addestrato da zero, con focus coreano e agentico, e lo rilascia con licenza permissiva. Non è un modello generalista che insegue i benchmark globali; è un oggetto con un posizionamento preciso, pensato per essere eseguito più che per essere soltanto scaricato. In questo senso, la notizia non è solo il modello, ma il fatto che il percorso di deployment sia diventato parte del prodotto.
💬 Commenti (0)
🔒 Accedi o registrati per commentare gli articoli.
Nessun commento ancora. Sii il primo a commentare!