Modelli piccoli e specializzati, architetture TinyML e progetti con memoria esterna stanno riducendo i costi di calcolo pur rimanendo competitivi su compiti ristretti. Il trend mette in discussione l'uso predefinito di grandi LLM generalisti.
ENAS è un framework hardware-aware per Neural Architecture Search su TinyML che non richiede GPU. Nei test su Visual Wake Words e Melanoma Cancer con otto microcontrollori da 20 KB a 1 MB di SRAM, accelera la ricerca fino a 2,41 volte rispetto a Nano...
Un nuovo approccio sostituisce l'attenzione nei Transformer con moduli di autoencoder a collo di bottiglia, più un raffinamento iterativo nelle posizioni mascherate. Nei test con BERT e C4 ottiene una quota significativa delle prestazioni con circa 1...
Qwengram-0.8B congela Qwen3.5-0.8B e aggiunge una memoria n-gram da 51 miliardi di parametri fuori dal GGUF. La perplexity scende del 5,05%, ma il dato rilevante è l'architettura: iniezione tardiva governata da una gate per token, sidecar quantizzato...
Uno sviluppatore ha addestrato un modello compatto per sostituire Gemini Flash in un task booleano ad alta frequenza. Con 2.500 esempi e una RTX A6000 da 16 GB, il training è durato 15 minuti: il risultato pesa 50 MB, gira su CPU in 0,06 secondi e ra...
Un benchmark indipendente confronta Jev e Kev 4B su 362 elementi freschi: accuratezza simile, ma Jev aggiunge 257 token input fissi per richiesta, fino a 12 volte il costo su richieste brevi.
Un esperimento tiene congelato Qwen3.5-0.8B, aggiunge una memoria PLE da 51 miliardi di parametri e un reader R=1: la perplexity di validazione scende del 5,05%. L'autore avverte che non è un guadagno di accuratezza su benchmark e pubblica GGUF, runt...
Un modello multimodale da 0,4 milioni di parametri combina transformer SMILES e grafi GATv2 via cross-attention, ottenendo su ClinTox AUC-ROC 0,987 e F1 0,906. La variante con backbone ChemBERTa-2 su Tox21 raggiunge AUC-ROC medio 0,750, paragonabile ...
La campagna su Jev come "System One Models" ignora anni di classificatori zero-shot, embedding e reranker. Le prove pubbliche mostrano solo che un classificatore specializzato batte un LLM autoregressivo in costo e latenza, un fatto già noto.
