I progetti usano ambienti simulati, record aziendali sintetici, metodi in stile LoRA e machine unlearning per adattare i modelli senza accesso diretto a schemi sensibili. Il filo comune è che qualità dei dati, controllo dei bias ed efficienza dell'adattamento contano più della scala grezza.
Il framework Synthesis Through Simulation di SAP genera dati sintetici aziendali facendo operare un agente LLM contro API che applicano policy simulate, senza accedere agli schemi database. La validità strutturale nasce per costruzione, non per estra...
Un nuovo metodo, Diffu-LoRA, introduce componenti low-rank con gate apprendibili nei blocchi Transformer dei modelli di diffusione. Un'ottimizzazione bilevel allena i pesi e i gate su split separati, mentre un pruning progressivo rimuove i componenti...
Un learning rate condiviso può fabbricare vantaggi inesistenti quando si confrontano ricette di fine-tuning con numeri di parametri diversi. Nella compressione SVD della KV-cache, l'healing solo dell'encoder sembrava superiore, ma con learning rate d...
SAP ha reso open source Synthesis Through Simulation, un framework che genera dati enterprise sintetici tramite interazione tra agenti LLM e API in ambienti simulati. L'approccio elimina la necessità di schemi database, garantendo validità struttural...
Uno studio su arabo e inglese confronta full fine-tuning, LoRA e weight-space merging per adattare i riconoscitori vocali al parlato infantile. L'adattamento è necessario, ma il fine-tuning diretto degrada le prestazioni sugli adulti. L'adattamento b...
Microsoft Research Asia ha rilasciato Agent Lightning 1.0, un framework RL di circa 3.500 righe che addestra l’agente usando direttamente l’harness di produzione, senza servizi sandbox commerciali. Gira su Kubernetes, su cluster self-managed, cloud o...
Un nuovo framework, GA-GRPO, unifica i metodi di guida esterna per il ragionamento LLM, ne delimita il bias e mostra che il peso ottimale riduce le GPU-ore del 31%. Il bias cresce con la divergenza tra guida e policy, e il peso ideale cala con l'avan...
Un nuovo framework, SSU-LSF, introduce il machine unlearning per i modelli State Space di famiglia Mamba usati nella previsione della superficie terrestre. Localizza l'impronta temporale dei confondimenti con funzioni EKFac, thresholding sul raggio s...
Un progetto di fine-tuning locale di AliceAI-80B-A3B mostra i limiti del training on-premise: 5 milioni di token sintetici non bastano per un modello conversazionale generale. Su tre V100 da 32 GB, il checkpoint 1.0 alpha risponde ma è sottoadattato;...
