Nuovi framework, kernel e varianti di modelli riducono il consumo di token, la comunicazione oppure estendono il contesto per abbattere i costi di inference. Modelli aperti compatti e risultati di efficienza dati rafforzano l'attenzione a TCO e distribuzione pratica.
Hugging Face ha integrato Helion nel progetto Kernels. I kernel Helion sono Python puro e si compilano alla prima esecuzione; il progetto standardizza packaging e distribuzione. Il flusso di pre-tuning crea un albero decisionale per scegliere configu...
Nel BabyLM 2026 Strict-Small, Qiushi Engine ha guadagnato 0,23 punti Overall su nove metriche senza aumentare la scala, ma riorganizzando l'esperienza attorno alle dipendenze contestuali. Per chi valuta LLM self-hosted, il segnale è il principio di e...
Un thread su Reddit segnala una demo web che applica a Qwen una tecnica di approssimazione della KV cache simile a quella attribuita a 'V4.1 flash' per accelerare il prefill. Nessun benchmark pubblico, ma il prototipo riapre la discussione su come ri...
Qiushi Engine ha condotto un programma di ricerca autonomo su BabyLM 2026 Strict-Small, con 10 milioni di parole e 100 milioni di presentazioni cumulative. Tre fasi hanno unito avanzamento, scoperta di principi e miglioramento guidato. L'Overall sale...
d-Matrix ha presentato al SEMICON Taiwan 2026 un modello di costo per l’inference. Il punto: se i prezzi dei token scendono mentre i costi di ammortamento, energia e banda di memoria delle GPU restano rigidi, i margini per chi vende capacità di calco...
Nvidia ha rilasciato SoL-Pi, estensione standalone per il framework Pi. Introduce quattro meccanismi opt-in, disabilitati per default, nati da cicli di auto-research: riducono turni ripetuti, replay del contesto, osservazioni sovradimensionate e lett...
Un nuovo framework affronta il vincolo dei vocabolari eterogenei nella decodifica speculativa collaborativa. X-CoSD limita lo scambio di distribuzioni alla regione comune tra i due modelli; la variante estesa sposta il ricampionamento sul server e la...
OpenBMB ha pubblicato MiniCPM5-2B, un modello open weights da 2 miliardi di parametri che ottiene 15 sull'Artificial Analysis Intelligence Index v4.2, il punteggio più alto tra i modelli aperti fino a 4B. Il risultato interessa chi valuta deployment ...
Una pull request su llama.cpp introduce il supporto per Spark-X2.5, due LLM compatti da 4B e 1.7B parametri, con contesto nativo fino a 1M token e architettura ibrida a finestra scorrevole. La mossa abbassa la soglia per l'inference locale e self-hos...
Un benchmark su 14 task cross-system e tre server MCP mostra che TrueForge con Opus 4.8 risolve 11/14 task come Claude Managed Agents, ma consuma il 63% di token in meno e costa il 30% in meno per run. Con GLM-5.2 il costo scende a 3 dollari. Restano...
