Nuovi strumenti desktop e approcci di addestramento rendono fattibili training e fine-tuning di piccoli LLM su hardware comune e budget molto ridotti. Gli esperimenti mostrano che modelli da 1B di parametri possono essere addestrati con circa 200 dollari e ottimizzati con routing MoE mirato.
Unsloth Desktop è la prima applicazione open source per eseguire e addestrare LLM in locale. Supporta Windows, macOS e Linux, con accelerazione su NVIDIA, AMD, Intel e Mac. Promette training 2× più veloce e riduce la VRAM del 70%. Integra ricerca pri...
Un esperimento dimostra che con 200 dollari su GPU noleggiate si può addestrare un LLM da 1,1 miliardi di parametri e distribuirlo su CPU o persino smartwatch. Il costo irrisorio riscrive il calcolo del TCO per le aziende che valutano soluzioni self-...
Un progetto personale mostra come addestrare da zero un modello linguistico da 1,1 miliardi di parametri su 20 miliardi di token con una spesa totale di circa 200 dollari. Il modello, poi ottimizzato con LoRA e quantizzato, gira su CPU e persino su u...
Un nuovo approccio chiamato TEXAS sfrutta il modo in cui i modelli a mistura di esperti attivano i sotto-modelli per guidare l'addestramento, concentrando la supervisione solo sui token rilevanti. Per chi gestisce LLM in locale, questo significa adat...
Pathway presenta BDH, un'architettura post-transformer che eguaglia le prestazioni di GPT-2 da 10 milioni a 1 miliardo di parametri, addestrandosi su hardware comune. Un promettente segnale per chi punta a self-hosted LLM senza vincoli hardware estre...
