Niv-AI è uscita dalla fase di progettazione preliminare con l'obiettivo di ottimizzare l'efficienza energetica delle GPU. La società ha annunciato un finanziamento di 12 milioni di dollari destinati allo sviluppo di tecnicie per la misurazione e la gestione dei picchi di potenza assorbita dalle GPU.

L'ottimizzazione del consumo energetico delle GPU è diventata una priorità crescente, soprattutto in contesti di training di modelli di grandi dimensioni e inference on-premise, dove i costi energetici e i requisiti di raffreddamento rappresentano una frazione significativa del TCO. Tecnologie come quelle proposte da Niv-AI potrebbero contribuire a ridurre questi costi, migliorando al contempo le prestazioni complessive dei sistemi.

Per chi valuta deployment on-premise, esistono trade-off tra CapEx e OpEx, e AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.