Quantizzazioni, selezione degli esperti, sidecar FP8 e metodi di riduzione dei token vengono adottati per ridurre VRAM e latenza. L'obiettivo è preservare la qualità riducendo i modelli o accelerando la decodifica su hardware locale.
Il nuovo metodo EAGLE-4 registra un'accelerazione di 3,59× rispetto alla decodifica vanilla nei benchmark pubblicati, superando DFlash2 (2,80×), DSpark (2,57×) e MTP (2,22×). Il supporto oggi è limitato a Qwen3.8-27B e manca l'integrazione in llama.c...
ISTA-DASLab ha aggiornato il modello Qwen3.8-Flash-Next-GSQ-RCO-Coder in formato GGUF. I pesi mantenuti non cambiano rispetto alla base IQ3_S, ma circa il 25% della selezione degli esperti è diversa. Il modello resta English-only: con un budget di es...
Un repository GGUF privo di note su Hugging Face sposta il costo della verifica su chi valuta il deploy. AI-Radar analizza quantization, contesto, VRAM e provenance, e mostra perché l'assenza di documentazione blocca pipeline self-hosted, TCO e sovra...
Una proposta per llama.cpp introduce i tipi IQ2_K–IQ6_K: stesse dimensioni dei Q-quants, divergenza KL nettamente migliore, prestazioni leggermente inferiori e creazione più lenta. Per chi esegue LLM in locale, il trade-off si sposta: pari occupazion...
Un esperimento su Reddit mostra che sostituire il PLE quantizzato dei GGUF comuni con il sidecar FP8 completo migliora la qualità percepita di Qwen 3.8 Flash Next, senza impatto sulla velocità. Cresce solo lo spazio su disco.
Un modello da 4 miliardi di parametri in precisione BF16 firmato NVIDIA Nemotron Labs appare su Hugging Face. Non è la dimensione a contare, ma il formato: BF16 tiene il modello lontano dalle compressioni spinte e lo colloca nello spazio dei deployme...
Il progetto ORL (On-Policy Residual Learning) promette di accelerare i diffusion LLM senza sacrificare la qualità. Su una singola RTX 5090 il team segnala 2.788 token/s con LLaDA-2.1-mini in NVFP4; il motore di inference dlmrt, open source, sfrutta C...
Un test empirico di tre giorni su GYRO-M, quantization Q2 del modello Qwen Flash Next, segnala stabilità paragonabile al q3 ISTA con dimensioni ridotte. Il progetto nasce da un singolo contributore e mostra tenuta su contesti lunghi, ma evidenzia cri...
