NVIDIA sta sviluppando i suoi prossimi modelli linguistici Nemotron-3 Super e Ultra con una tecnica innovativa: il pre-training in formato FP4. Questo approccio, che sfrutta le capacità di calcolo delle GPU NVIDIA, presenta sfide significative a causa della bassa precisione numerica.

Pre-training FP4

L'utilizzo del formato FP4 per il pre-training è una novità nel settore. NVIDIA punta a ottenere vantaggi in termini di performance e efficienza, grazie all'elevato throughput FP4 offerto dalle sue GPU. Tuttavia, addestrare modelli linguistici avanzati con soli quattro bit richiede un'attenta gestione delle problematiche numeriche.

Uscita prevista e modello di sviluppo

La data di rilascio stimata per i modelli Nemotron-3 Super e Ultra è fissata per la prima metà del 2026. Un aspetto peculiare della cultura NVIDIA, emerso durante un'intervista, è la sua natura di "azienda di volontari". Questo si riflette in un modello di sviluppo decentralizzato, dove i team si auto-organizzano e collaborano su progetti come Nemotron.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.