Alcuni progetti addestrano LLM da 1B con circa 200 dollari, mentre strumenti come Unsloth Desktop riducono la VRAM per il training locale e modelli MoE compatti come Ling-3.0-tiny, Luth-2 e Nemotron-3.5 Lightning diventano utilizzabili su hardware consumer.
Unsloth Desktop è la prima applicazione open source per eseguire e addestrare LLM in locale. Supporta Windows, macOS e Linux, con accelerazione su NVIDIA, AMD, Intel e Mac. Promette training 2× più veloce e riduce la VRAM del 70%. Integra ricerca pri...
Il nuovo modello Nemotron-3.5 Lightning 30B-A3B in formato BF16 arriva su Hugging Face. Una mossa che sposta il baricentro verso architetture MoE ultra-efficienti, pensate per chi fa girare LLM su hardware proprio, riducendo la dipendenza dal cloud s...
I nuovi Luth-2-0.8B e 2B fissano lo stato dell’arte per il francese, battendo modelli fino a tre volte più grandi in benchmark linguistici e matematici. Leggeri al punto da girare in locale, aprono scenari concreti per il deployment on-premise e la s...
Un esperimento dimostra che con 200 dollari su GPU noleggiate si può addestrare un LLM da 1,1 miliardi di parametri e distribuirlo su CPU o persino smartwatch. Il costo irrisorio riscrive il calcolo del TCO per le aziende che valutano soluzioni self-...
Un progetto personale mostra come addestrare da zero un modello linguistico da 1,1 miliardi di parametri su 20 miliardi di token con una spesa totale di circa 200 dollari. Il modello, poi ottimizzato con LoRA e quantizzato, gira su CPU e persino su u...
InclusionAI rilascia Ling-3.0-tiny, un MoE da 8 miliardi di parametri (soli 1,3 attivi) che raggiunge 100-105 token/s su DGX Spark e 86-90 su MacBook M4 Pro, con 8,34 GiB di picco a contesto 8K in FP8. Prestazioni da fascia media, ma l’efficienza har...
