Luma v2.9 è un modello di linguaggio basato su architettura transformer con circa 10 milioni di parametri, progettato per essere addestrato ed eseguito completamente in locale. Questo significa che non richiede connessione al cloud, né invia dati tramite telemetria, offrendo agli utenti il pieno controllo sui propri dati e sul modello.

Caratteristiche principali

  • Addestramento personalizzato: Luma v2.9 può essere addestrato su dataset specifici, organizzati in tre cartelle: Core, Knowledge e Conversations. È possibile definire manualmente i pesi dei dati.
  • Esecuzione locale: Il modello è progettato per funzionare su GPU consumer o CPU, senza dipendenze esotiche. È sviluppato con PyTorch.
  • Dimensioni ridotte: Luma v2.9 è intenzionalmente piccolo, con l'obiettivo di fornire un modello specializzato e focalizzato, piuttosto che un sostituto dei modelli più grandi come GPT-4 o LLaMA.

Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.