I ricercatori stanno riducendo i costi degli LLM con alternative all'attenzione, fine-tuning su embedding sintetici, memoria n-gram esterna, filtri per il retrieval e modelli TinyML hardware-aware.
DASA genera embedding sintetici dai gradienti di attivazione di un modello congelato, addestrando LLM senza passare da testo leggibile. I test su Llama e Qwen mostrano prestazioni simili o superiori ai dati testuali, con speedup fino a 4,9 volte risp...
Un framework scompone i fallimenti del retrieval in due stati: non rispondibile e distratto. Un modulo leggero, Sieve, filtra i documenti rumorosi prima di chiamare il LLM costoso, Sage. Nei test, l’accuratezza sale fino a 69,4 punti percentuali e il...
Un nuovo metodo, DASA, genera dati sintetici per il fine-tuning sotto forma di embedding continui, guidati dai gradienti di attivazione di un modello di riferimento. Nei test su sei modelli Llama e Qwen, con LoRA, raggiunge prestazioni pari o superio...
ENAS è un framework hardware-aware per Neural Architecture Search su TinyML che non richiede GPU. Nei test su Visual Wake Words e Melanoma Cancer con otto microcontrollori da 20 KB a 1 MB di SRAM, accelera la ricerca fino a 2,41 volte rispetto a Nano...
Un nuovo approccio sostituisce l'attenzione nei Transformer con moduli di autoencoder a collo di bottiglia, più un raffinamento iterativo nelle posizioni mascherate. Nei test con BERT e C4 ottiene una quota significativa delle prestazioni con circa 1...
Qwengram-0.8B congela Qwen3.5-0.8B e aggiunge una memoria n-gram da 51 miliardi di parametri fuori dal GGUF. La perplexity scende del 5,05%, ma il dato rilevante è l'architettura: iniezione tardiva governata da una gate per token, sidecar quantizzato...
Un esperimento tiene congelato Qwen3.5-0.8B, aggiunge una memoria PLE da 51 miliardi di parametri e un reader R=1: la perplexity di validazione scende del 5,05%. L'autore avverte che non è un guadagno di accuratezza su benchmark e pubblica GGUF, runt...
Un modello multimodale da 0,4 milioni di parametri combina transformer SMILES e grafi GATv2 via cross-attention, ottenendo su ClinTox AUC-ROC 0,987 e F1 0,906. La variante con backbone ChemBERTa-2 su Tox21 raggiunge AUC-ROC medio 0,750, paragonabile ...
