Gimlet Labs ha annunciato un finanziamento di Serie A da 80 milioni di dollari per la sua tecnicia innovativa che affronta il problema dei colli di bottiglia nell'inference AI.

Esecuzione AI su hardware eterogeneo

La soluzione di Gimlet Labs permette di eseguire carichi di lavoro di intelligenza artificiale su una varietà di architetture hardware, tra cui GPU NVIDIA e AMD, CPU Intel e ARM, e chip specializzati come quelli di Cerebras e d-Matrix. Questa capacità di operare su hardware eterogeneo simultaneamente rappresenta un approccio nuovo per ottimizzare l'utilizzo delle risorse e migliorare le performance dell'inference.

Implicazioni per il mercato

L'inference AI è un'area in rapida crescita, con una domanda sempre maggiore di soluzioni efficienti e scalabili. La capacità di Gimlet Labs di supportare diversi tipi di hardware potrebbe renderla una soluzione interessante per aziende che cercano di ottimizzare i propri investimenti in infrastrutture AI. Per chi valuta deployment on-premise, esistono trade-off che AI-RADAR analizza in dettaglio su /llm-onpremise.