Metodi come DASA e la memoria n-gram esterna ottimizzano o potenziano i modelli senza aumentare l'impronta attiva. Autoencoder low-rank e NAS hardware-aware riducono FLOPs e RAM per i deployment ridotti.
DASA genera embedding sintetici dai gradienti di attivazione di un modello congelato, addestrando LLM senza passare da testo leggibile. I test su Llama e Qwen mostrano prestazioni simili o superiori ai dati testuali, con speedup fino a 4,9 volte risp...
Un nuovo metodo, DASA, genera dati sintetici per il fine-tuning sotto forma di embedding continui, guidati dai gradienti di attivazione di un modello di riferimento. Nei test su sei modelli Llama e Qwen, con LoRA, raggiunge prestazioni pari o superio...
ENAS è un framework hardware-aware per Neural Architecture Search su TinyML che non richiede GPU. Nei test su Visual Wake Words e Melanoma Cancer con otto microcontrollori da 20 KB a 1 MB di SRAM, accelera la ricerca fino a 2,41 volte rispetto a Nano...
Un nuovo approccio sostituisce l'attenzione nei Transformer con moduli di autoencoder a collo di bottiglia, più un raffinamento iterativo nelle posizioni mascherate. Nei test con BERT e C4 ottiene una quota significativa delle prestazioni con circa 1...
Qwengram-0.8B congela Qwen3.5-0.8B e aggiunge una memoria n-gram da 51 miliardi di parametri fuori dal GGUF. La perplexity scende del 5,05%, ma il dato rilevante è l'architettura: iniezione tardiva governata da una gate per token, sidecar quantizzato...
Un esperimento tiene congelato Qwen3.5-0.8B, aggiunge una memoria PLE da 51 miliardi di parametri e un reader R=1: la perplexity di validazione scende del 5,05%. L'autore avverte che non è un guadagno di accuratezza su benchmark e pubblica GGUF, runt...
