Runtime open source e tecniche di ottimizzazione rendono il deployment LLM locale più veloce ed economico. I boost CPU di llama.cpp, GGUF nativo in Transformers, i livelli hardware-agnostic di vLLM, OpenVINO, Vulkan/ZLUDA e l'attenzione/quantization sparse riducono il costo dell'inference self-hosted.
Il runtime open source per l'inference locale dei LLM introduce un miglioramento che rende la fase di prompt lookup drafting 42 volte più veloce. Non si tratta dell'intera generazione, ma di un componente chiave della decodifica speculativa: un cambi...
Una pull request in llama.cpp introduce una moltiplicazione matrice-vettore a tessere per i formati k-quants. Secondo la segnalazione, l'uso delle istruzioni VNNI accelera il mul_mat su CPU di 3-7 volte con complessità aggiuntiva minima. Il guadagno ...
Qwengram-0.8B congela Qwen3.5-0.8B e aggiunge una memoria n-gram da 51 miliardi di parametri fuori dal GGUF. La perplexity scende del 5,05%, ma il dato rilevante è l'architettura: iniezione tardiva governata da una gate per token, sidecar quantizzato...
Una segnalazione su Oh My Pi indica supporto per modelli custom con vLLM, llama.cpp e SGLang. La fonte è scarna, ma il titolo basta per inquadrare un nodo: il serving self-hosted resta frammentato tra runtime con profili hardware diversi, e l'integra...
Un esperimento tiene congelato Qwen3.5-0.8B, aggiunge una memoria PLE da 51 miliardi di parametri e un reader R=1: la perplexity di validazione scende del 5,05%. L'autore avverte che non è un guadagno di accuratezza su benchmark e pubblica GGUF, runt...
Un contributo open source aggiunge il supporto a OpenVINO nel progetto Laya: il tempo di risposta scende a 40 millisecondi per domanda su CPU, con un guadagno di 3,4 volte rispetto a PyTorch. Il risultato mostra quanto l’ottimizzazione runtime possa ...
Il server AI locale open source Lemonade pubblica la 2026.39.1 e una release candidate della 2026.40. Oltre al nuovo schema di versioning, corregge lo streaming dei modelli su APU AMD e rimuove il supporto OpenMOSS su ROCm, circa 40 volte più lento d...
Hugging Face ha aggiunto il supporto nativo ai file GGUF in Transformers. Basta indicare il percorso del file quantizzato per caricare il modello e usare le API standard. Su Apple Silicon vengono riutilizzati i kernel ggml, con benchmark su M2 Max vi...
Il progetto vLLM introduce livelli hardware-agnostic in-tree per continuare a supportare acceleratori out-of-tree, GPU datacenter più vecchie e schede consumer. Su NVIDIA H100 il throughput totale resta entro il 3,4% dell'implementazione nativa. La m...
Il progetto open source ZLUDA ha aggiunto il supporto ad alcune API cuFFT di NVIDIA appoggiandosi a hipFFT, il componente dello stack ROCm/HIP di AMD. La novità amplia il perimetro di compatibilità CUDA su GPU non NVIDIA come le Radeon e segnala un c...
PRQuant combina riorganizzazione dei canali e compensazione residua statica per ridurre l'overhead di inference nella quantization low-bit. Il metodo è training-free, costruisce offline i blocchi contigui di coda ed evita la raccolta dinamica online,...
Un sistema chiamato phantom-kv inietta una piccola banca di tensori key/value nella cache KV di un modello. Il risultato è una modalità di capacità per richiesta: si carica, si usa, si scarica. I pesi restano identici. L'audit segnala però limiti sem...
Un’architettura addestrabile end-to-end sostituisce le euristiche rigide con soglie contestuali dinamiche, riducendo il traffico della KV cache senza perdere qualità. Il modello da 1,45 miliardi di parametri ottiene un decoding fino a 2,5 volte più v...
Un metodo training-free riduce il costo del prefill nei LLM a contesto lungo affrontando la 'mean dilution', il rischio che un centroide nasconda token rilevanti. RBS-Attention combina un ramo basato sul centroide con un ramo rescue basato sul raggio...
