È disponibile la versione 0.4.0 di LM Studio, un ambiente di sviluppo locale per modelli linguistici di grandi dimensioni (LLM).

Novità

L'aggiornamento introduce modifiche all'interfaccia utente (UI), spostando le impostazioni del runtime all'interno delle opzioni sviluppatore. Per accedervi, è necessario abilitare la modalità sviluppatore nelle impostazioni dell'applicazione.

Test sul parallelismo

Un utente ha testato le impostazioni di parallelismo, variando i valori da 2 a 40, senza riscontrare cambiamenti significativi nelle prestazioni. La unified KV cache è abilitata di default e sembra funzionare correttamente.

Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.