Intel ha annunciato la disponibilità di LLM-Scaler-vLLM 1.3, un aggiornamento che estende significativamente il numero di modelli linguistici di grandi dimensioni (LLM) supportati.
Dettagli della release
La nuova versione è specificamente progettata per funzionare con le schede grafiche Intel Arc Battlemage. L'implementazione si basa su uno stack in ambiente Docker, semplificando il deployment di vLLM (una libreria per l'inference LLM).
Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.
💬 Commenti (0)
🔒 Accedi o registrati per commentare gli articoli.
Nessun commento ancora. Sii il primo a commentare!