La community sta passando dalla distribuzione di copie complete di modelli fine-tuned alla condivisione di adattatori LoRA e alla modifica diretta dei pesi. Tecniche come il deletion tuning e la modifica dei pesi basata su energia puntano a eguagliare il full fine-tuning con molte meno modifiche.
Un nuovo studio mostra che azzerare meno dello 0,05% dei pesi di un LLM pre-addestrato, senza altre modifiche, eguaglia il full fine-tuning in tre regimi post-training: reinforcement learning con reward verificabili, fine-tuning supervisionato e dist...
Un progetto open source mostra come trasferire una nuova competenza nei pesi di Qwen 3.5 0.8B attraverso un modello decisionale basato su energia. L'autore paragona il risultato a LoRA e indica un intervento di 3 millisecondi, senza oblio catastrofic...
La proposta di distribuire adattatori LoRA anziché intere copie di LLM modificati segnala un cambiamento epocale verso la modularità nell'ecosistema dell'intelligenza artificiale. Per le organizzazioni che gestiscono infrastrutture self-hosted, quest...
Una proposta su Reddit suggerisce di distribuire solo i LoRA di abliteration invece di intere versioni uncensored degli LLM, riducendo duplicazione e costi. Il punto tecnico: un adattatore vale per ogni modello della stessa architettura e per ogni qu...
