NeuReality, con sede a Caesarea e sviluppatrice del sistema operativo di inference NR-NEXUS, ha annunciato la nomina di Shalini Agarwal, precedentemente direttore di product management presso Google AI, come advisor.

L'annuncio segue le dichiarazioni di Jensen Huang (NVIDIA) sulla centralità dei data center come "fabbriche di token", una visione che NeuReality sta attivamente perseguendo con la sua tecnicia.

Contesto

L'inference AI, ovvero la fase di utilizzo dei modelli addestrati per generare predizioni o risposte, sta diventando un collo di bottiglia per molte aziende. Ottimizzare l'inference, sia in termini di latenza che di throughput, è fondamentale per scalare le applicazioni di intelligenza artificiale. Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.