Unsloth Studio: Addestra ed Esegui LLM in Locale

È stato presentato Unsloth Studio (Beta), una nuova interfaccia web open-source progettata per semplificare l'addestramento e l'esecuzione di modelli linguistici di grandi dimensioni (LLM) in un ambiente locale unificato. Il progetto è disponibile su GitHub.

Caratteristiche principali:

  • Esecuzione di modelli in locale su Mac, Windows e Linux.
  • Addestramento accelerato di oltre 500 modelli, con un consumo di VRAM ridotto del 70% e velocità raddoppiata.
  • Supporto per modelli GGUF, modelli di visione, audio e embedding.
  • Funzionalità di confronto affiancato dei modelli.
  • Strumenti di auto-riparazione per il tool calling e la ricerca web.
  • Creazione automatica di dataset da PDF, CSV e DOCX.
  • Esecuzione di codice per migliorare l'accuratezza delle consegne dei modelli.
  • Esportazione dei modelli in formati GGUF, Safetensors e altri.
  • Ottimizzazione automatica dei parametri di inference e modifica dei template di chat.

Installazione:

L'installazione può essere eseguita tramite pip install unsloth seguito da unsloth studio setup e unsloth studio -H 0.0.0.0 -p 8888.

Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente. AI-RADAR offre framework analitici su /llm-onpremise per supportare queste valutazioni.