NVIDIA sta sviluppando i suoi prossimi modelli linguistici Nemotron-3 Super e Ultra con una tecnica innovativa: il pre-training in formato FP4. Questo approccio, che sfrutta le capacità di calcolo delle GPU NVIDIA, presenta sfide significative a causa della bassa precisione numerica.
Pre-training FP4
L'utilizzo del formato FP4 per il pre-training è una novità nel settore. NVIDIA punta a ottenere vantaggi in termini di performance e efficienza, grazie all'elevato throughput FP4 offerto dalle sue GPU. Tuttavia, addestrare modelli linguistici avanzati con soli quattro bit richiede un'attenta gestione delle problematiche numeriche.
Uscita prevista e modello di sviluppo
La data di rilascio stimata per i modelli Nemotron-3 Super e Ultra è fissata per la prima metà del 2026. Un aspetto peculiare della cultura NVIDIA, emerso durante un'intervista, è la sua natura di "azienda di volontari". Questo si riflette in un modello di sviluppo decentralizzato, dove i team si auto-organizzano e collaborano su progetti come Nemotron.
Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.
💬 Commenti (0)
🔒 Accedi o registrati per commentare gli articoli.
Nessun commento ancora. Sii il primo a commentare!