La distribuzione di LoRA, il deletion tuning e la modifica dei pesi basata su energia stanno riducendo costi e duplicazione nell'adattare gli LLM. Queste tecniche rendono i modelli self-hosted più modulari, controllabili ed economici da aggiornare.
Un nuovo studio mostra che azzerare meno dello 0,05% dei pesi di un LLM pre-addestrato, senza altre modifiche, eguaglia il full fine-tuning in tre regimi post-training: reinforcement learning con reward verificabili, fine-tuning supervisionato e dist...
Un progetto open source mostra come trasferire una nuova competenza nei pesi di Qwen 3.5 0.8B attraverso un modello decisionale basato su energia. L'autore paragona il risultato a LoRA e indica un intervento di 3 millisecondi, senza oblio catastrofic...
La proposta di distribuire adattatori LoRA anziché intere copie di LLM modificati segnala un cambiamento epocale verso la modularità nell'ecosistema dell'intelligenza artificiale. Per le organizzazioni che gestiscono infrastrutture self-hosted, quest...
Una proposta su Reddit suggerisce di distribuire solo i LoRA di abliteration invece di intere versioni uncensored degli LLM, riducendo duplicazione e costi. Il punto tecnico: un adattatore vale per ogni modello della stessa architettura e per ogni qu...
