Esperimenti mostrano che piccoli LLM capaci possono essere addestrati con poche centinaia di dollari e nuove architetture come BDH, Luth-2, TEXAS e BitNet riducono le barriere di calcolo. Questo ridefinisce costi, sovranità dei dati e copertura linguistica per l'IA self-hosted.
Unsloth Desktop è la prima applicazione open source per eseguire e addestrare LLM in locale. Supporta Windows, macOS e Linux, con accelerazione su NVIDIA, AMD, Intel e Mac. Promette training 2× più veloce e riduce la VRAM del 70%. Integra ricerca pri...
I nuovi Luth-2-0.8B e 2B fissano lo stato dell’arte per il francese, battendo modelli fino a tre volte più grandi in benchmark linguistici e matematici. Leggeri al punto da girare in locale, aprono scenari concreti per il deployment on-premise e la s...
Un esperimento dimostra che con 200 dollari su GPU noleggiate si può addestrare un LLM da 1,1 miliardi di parametri e distribuirlo su CPU o persino smartwatch. Il costo irrisorio riscrive il calcolo del TCO per le aziende che valutano soluzioni self-...
Un progetto personale mostra come addestrare da zero un modello linguistico da 1,1 miliardi di parametri su 20 miliardi di token con una spesa totale di circa 200 dollari. Il modello, poi ottimizzato con LoRA e quantizzato, gira su CPU e persino su u...
Un nuovo approccio chiamato TEXAS sfrutta il modo in cui i modelli a mistura di esperti attivano i sotto-modelli per guidare l'addestramento, concentrando la supervisione solo sui token rilevanti. Per chi gestisce LLM in locale, questo significa adat...
Pathway presenta BDH, un'architettura post-transformer che eguaglia le prestazioni di GPT-2 da 10 milioni a 1 miliardo di parametri, addestrandosi su hardware comune. Un promettente segnale per chi punta a self-hosted LLM senza vincoli hardware estre...
Un motore di inference in C99 senza dipendenze esterne spinge il modello ternario BitNet da 2 miliardi di parametri a 36,25 token al secondo su CPU Intel Xeon, usando SIMD custom e istruzioni VNNI. Ma il vero collo di bottiglia non è la CPU: a batch ...
