LLM aperti compatti sotto i 4B-10B parametri e i risultati BabyLM mostrano progressi legati a organizzazione dei dati, architettura e addestramento su singola GPU piuttosto che alla sola scala dei parametri.
Un ricercatore indipendente ha preparato un modello denso da 9,4 miliardi di parametri per il training su una singola scheda, con distillazione da Llama 3 e semplificazioni architetturali. Non ci sono benchmark, ma il segnale per l'AI on-premise è ch...
Un ricercatore indipendente ha reso pubblico un modello da circa 9,4 miliardi di parametri, pensato per l'addestramento su una singola scheda. Il progetto include architetture ispirate a Moonshot e una distillazione da Llama 3, con il training già av...
Nel BabyLM 2026 Strict-Small, Qiushi Engine ha guadagnato 0,23 punti Overall su nove metriche senza aumentare la scala, ma riorganizzando l'esperienza attorno alle dipendenze contestuali. Per chi valuta LLM self-hosted, il segnale è il principio di e...
Qiushi Engine ha condotto un programma di ricerca autonomo su BabyLM 2026 Strict-Small, con 10 milioni di parole e 100 milioni di presentazioni cumulative. Tre fasi hanno unito avanzamento, scoperta di principi e miglioramento guidato. L'Overall sale...
OpenBMB ha pubblicato MiniCPM5-2B, un modello open weights da 2 miliardi di parametri che ottiene 15 sull'Artificial Analysis Intelligence Index v4.2, il punteggio più alto tra i modelli aperti fino a 4B. Il risultato interessa chi valuta deployment ...
Una pull request su llama.cpp introduce il supporto per Spark-X2.5, due LLM compatti da 4B e 1.7B parametri, con contesto nativo fino a 1M token e architettura ibrida a finestra scorrevole. La mossa abbassa la soglia per l'inference locale e self-hos...
