LLmFit è un'utility a riga di comando progettata per semplificare la selezione di modelli linguistici di grandi dimensioni (LLM) in base alle specifiche hardware di un sistema.

Funzionalità

Lo strumento esamina le risorse di sistema, tra cui RAM, CPU e GPU, per determinare quali modelli LLM possono essere eseguiti in modo efficiente. LLmFit valuta i modelli in base a diversi parametri, tra cui qualità, velocità, adattamento alle risorse e dimensione del contesto. Supporta configurazioni multi-GPU, architetture Mixture of Experts (MoE) e la selezione dinamica della quantization.

Modalità d'uso

LLmFit offre un'interfaccia testuale interattiva (TUI) predefinita e una modalità CLI classica. Questo permette agli utenti di scegliere l'approccio più adatto alle proprie esigenze. Per chi valuta deployment on-premise, esistono trade-off tra performance e costi che AI-RADAR analizza in dettaglio nella sezione /llm-onpremise.