AMD sta potenziando le proprie Ryzen AI NPU per l'esecuzione di modelli linguistici di grandi dimensioni (LLM) su Linux, grazie al server Lemonade 10.0 e FastFlowLM 0.9.35. Un componente chiave di questa strategia è MLIR-AIE, un compiler toolchain sviluppato internamente.

MLIR-AIE v1.3: Novità

La release v1.3 di MLIR-AIE introduce nuove funzionalità per migliorare le consegne sulle AMD AI Engine. MLIR-AIE sfrutta la Multi-Level Intermediate Representation (MLIR) e la generazione di codice basata su LLVM per ottimizzare le prestazioni dei carichi di lavoro di intelligenza artificiale.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.