Gli sforzi per decentralizzare l'addestramento dell'AI stanno guadagnando terreno, con progetti che esplorano metodi per addestrare LLM su PC consumer distribuiti. Questo approccio mira a ridurre la dipendenza dai grandi data center e a ottimizzare i carichi di addestramento per nodi con memoria limitata, democratizzando l'accesso allo sviluppo dell'AI.
Il progetto CrowdGPT rilascia la versione 2.6 e mostra un percorso concreto per addestrare un LLM da un miliardo di parametri su PC distribuiti, senza datacenter. Sei giorni per 4,5 miliardi di token, con controlli bizantini a tre client, firma critt...
Un sistema di training per modelli Mixture-of-Experts riduce dal 21,2% al 44,8% il tempo cumulativo sugli strati MoE rispetto a SYMI, intervenendo sulla domanda di memoria nella retropropagazione e sul bilanciamento del lavoro trattenuto. LRMoE piani...
A EMNLP 2026, un team di T-Tech ha mostrato LIMe, un'estensione dell'attenzione che riusa i buffer key-value degli strati precedenti. Nei test con modelli da circa un miliardo di parametri, il training raggiunge la stessa loss di LLaMA usando il 15% ...
