Intel ha rilasciato un aggiornamento per il suo progetto LLM-Scaler, focalizzato sull'ottimizzazione del deployment di modelli linguistici di grandi dimensioni (LLM) su schede grafiche Arc. Questo aggiornamento introduce il supporto per un numero maggiore di modelli Qwen, nello specifico Qwen3 e Qwen3.5.

Dettagli su LLM-Scaler

LLM-Scaler è progettato per semplificare il processo di deployment di LLM su hardware Intel Arc, rendendo più accessibile l'esecuzione di questi modelli in locale. L'obiettivo è fornire una soluzione efficiente per sfruttare la potenza di calcolo delle GPU Intel per carichi di lavoro di intelligenza artificiale.

Per chi valuta deployment on-premise, esistono trade-off in termini di costi iniziali (CapEx) e operativi (OpEx) rispetto a soluzioni cloud. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.