La ricerca su autoencoder low-rank, dataset di embedding sintetici e memorie n-gram esterne punta a ridurre i FLOPs e migliorare le prestazioni dei modelli piccoli senza testo leggibile.
DASA genera embedding sintetici dai gradienti di attivazione di un modello congelato, addestrando LLM senza passare da testo leggibile. I test su Llama e Qwen mostrano prestazioni simili o superiori ai dati testuali, con speedup fino a 4,9 volte risp...
Un framework scompone i fallimenti del retrieval in due stati: non rispondibile e distratto. Un modulo leggero, Sieve, filtra i documenti rumorosi prima di chiamare il LLM costoso, Sage. Nei test, l’accuratezza sale fino a 69,4 punti percentuali e il...
Un nuovo metodo, DASA, genera dati sintetici per il fine-tuning sotto forma di embedding continui, guidati dai gradienti di attivazione di un modello di riferimento. Nei test su sei modelli Llama e Qwen, con LoRA, raggiunge prestazioni pari o superio...
Un nuovo approccio sostituisce l'attenzione nei Transformer con moduli di autoencoder a collo di bottiglia, più un raffinamento iterativo nelle posizioni mascherate. Nei test con BERT e C4 ottiene una quota significativa delle prestazioni con circa 1...
Qwengram-0.8B congela Qwen3.5-0.8B e aggiunge una memoria n-gram da 51 miliardi di parametri fuori dal GGUF. La perplexity scende del 5,05%, ma il dato rilevante è l'architettura: iniezione tardiva governata da una gate per token, sidecar quantizzato...
Un esperimento tiene congelato Qwen3.5-0.8B, aggiunge una memoria PLE da 51 miliardi di parametri e un reader R=1: la perplexity di validazione scende del 5,05%. L'autore avverte che non è un guadagno di accuratezza su benchmark e pubblica GGUF, runt...
