Modelli piccoli dense e MoE sfidano modelli più grandi, mentre training data-efficient, token merging e nuovi metodi di quantization riducono i requisiti di calcolo. Questo ridisegna il TCO per deployment locali ed edge.
Su Hugging Face è disponibile una demo online di un modello da 230 milioni di parametri ottimizzato per il gioco degli scacchi. La notizia è minima, ma apre un ragionamento sulla specializzazione dei piccoli modelli e sul loro ruolo nei deployment lo...
Un modello da 7B in GGUF si colloca tra modelli da 27 e 35 miliardi di parametri. Per chi valuta deployment self-hosted, il caso K2 Horizon 7B cambia il calcolo del TCO e mette al centro la resa per gigabyte di VRAM, non il numero di parametri. Ma se...
Una valutazione sistematica sulla famiglia Whisper mostra che il token merging aumenta l'efficienza computazionale quasi senza perdere accuratezza nella trascrizione multilingue, anche dopo il fine-tuning con DoRA. Il metodo accorcia la sequenza di t...
Il modello IFM K2 Horizon 7B ottiene un punteggio sull'Artificial Analysis Intelligence Index compreso tra Qwen 3.6 27B e Qwen 3.6 35BA3b. Nei primi test locali compila l'ultimo llama.cpp per CUDA senza problemi. Se il risultato regge, un 7B con pres...
Un modello da 150 milioni di parametri con prestazioni simili a GPT-2 Small è stato addestrato su una singola RTX Pro 6000 usando 7 miliardi di token. I benchmark pubblicati mostrano PIQA 62,24%, Hellaswag 32,20%, Arc-Easy 44,91%, Arc-Challenge 25,00...
Un ricercatore indipendente ha preparato un modello denso da 9,4 miliardi di parametri per il training su una singola scheda, con distillazione da Llama 3 e semplificazioni architetturali. Non ci sono benchmark, ma il segnale per l'AI on-premise è ch...
Un ricercatore indipendente ha reso pubblico un modello da circa 9,4 miliardi di parametri, pensato per l'addestramento su una singola scheda. Il progetto include architetture ispirate a Moonshot e una distillazione da Llama 3, con il training già av...
Hugging Face ha integrato Helion nel progetto Kernels. I kernel Helion sono Python puro e si compilano alla prima esecuzione; il progetto standardizza packaging e distribuzione. Il flusso di pre-tuning crea un albero decisionale per scegliere configu...
Nel BabyLM 2026 Strict-Small, Qiushi Engine ha guadagnato 0,23 punti Overall su nove metriche senza aumentare la scala, ma riorganizzando l'esperienza attorno alle dipendenze contestuali. Per chi valuta LLM self-hosted, il segnale è il principio di e...
Un thread su Reddit segnala una demo web che applica a Qwen una tecnica di approssimazione della KV cache simile a quella attribuita a 'V4.1 flash' per accelerare il prefill. Nessun benchmark pubblico, ma il prototipo riapre la discussione su come ri...
Qiushi Engine ha condotto un programma di ricerca autonomo su BabyLM 2026 Strict-Small, con 10 milioni di parole e 100 milioni di presentazioni cumulative. Tre fasi hanno unito avanzamento, scoperta di principi e miglioramento guidato. L'Overall sale...
