I ricercatori riducono FLOPs, memoria e latenza con autoencoder low-rank, kernel GEMM ottimizzati, test-time compute e rilevamento leggero delle allucinazioni. Queste tecniche rendono i modelli più grandi più sostenibili per il deployment locale ed edge.
L'integrazione di Helion nel backend lineare di vLLM mostra che un solo kernel GEMM con autotuner ahead-of-time può coprire varianti specializzate e migliorare l'inference fino al 10% su Qwen3. Per chi gestisce LLM self-hosted, il segnale è duplice: ...
Red Hat e Meta hanno integrato Helion nel backend lineare di vLLM. Un'unica implementazione GEMM copre Standard, Split-K e Swap-AB, con autotuning per forma su GPU Hopper. Nei test su H100, i kernel superano CUTLASS, FlashInfer e DeepGEMM, con miglio...
Un test su Ollama con modelli da 1,5B a 120B mostra che l'entropia di matching esatto su CPU può rilevare allucinazioni senza occupare VRAM. Su Qwen 27B l'AUROC raggiunge 0,89, su Mistral 7B pareggia DeBERTa. Ma il crollo a 0,09 sul 120B segnala un C...
Il kernel attention di Meta per GEM, riscritto in TLX, supera FlashAttention-4 sui carichi jagged Blackwell: +13% in forward e +50% in backward in media, con circa 3.200 righe contro 10.000. Il risultato mostra che il controllo hardware esplicito non...
Il punteggio di Nemotron 3 alle IOI 2026 non segna solo un primato. Il risultato dichiarato si spiega con GenCorrect, un loop di test-time compute che moltiplica i token per query. Per i deployment on-premise, i pesi aperti e la quantization NVFP4 ab...
La scheda di NVIDIA Nemotron-Labs-3-Competitive-Coding descrive un modello da 550B-A55B fine-tuned su 477.642 tracce sintetiche distillate da GLM-5.2. Con la strategia GenCorrect, ha ottenuto 535,4/600 alle IOI 2026, superando soglia oro e miglior pu...
Un nuovo approccio sostituisce l'attenzione nei Transformer con moduli di autoencoder a collo di bottiglia, più un raffinamento iterativo nelle posizioni mascherate. Nei test con BERT e C4 ottiene una quota significativa delle prestazioni con circa 1...
Un test su 50 domande del benchmark MATH-500 mostra che penalizzare via logit-bias i token di esitazione migliora l'accuratezza di Qwen3.5-4B in formato GGUF su tutti i livelli di quantization testati. In BF16 si passa dal 74% all'84%, mentre Q2_K ra...
