Topic / Trend Rising

Architetture efficienti, quantization e runtime per inference locale

Nuove tecniche stanno rendendo il serving locale degli LLM più veloce ed economico, tra cui quantization low-bit, caricamento nativo GGUF, miglioramenti dei kernel CPU e GPU, Vulkan e varianti di modelli con memoria aumentata. Questi progressi puntano ai vincoli reali di VRAM e calcolo.

Detected: 2026-09-28 · Updated: 2026-09-28

Autoencoder low-rank al posto dell'attenzione: meno FLOPs per i masked language model

Un nuovo approccio sostituisce l'attenzione nei Transformer con moduli di autoencoder a collo di bottiglia, più un raffinamento iterativo nelle posizioni mascherate. Nei test con BERT e C4 ottiene una quota significativa delle prestazioni con circa 1...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-27 • LocalLLaMA

Penalizzare i token di overthinking migliora i Qwen in formato GGUF

Un test su 50 domande del benchmark MATH-500 mostra che penalizzare via logit-bias i token di esitazione migliora l'accuratezza di Qwen3.5-4B in formato GGUF su tutti i livelli di quantization testati. In BF16 si passa dal 74% all'84%, mentre Q2_K ra...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-27 • LocalLLaMA

llama.cpp accelera di 42 volte il prompt lookup drafting

Il runtime open source per l'inference locale dei LLM introduce un miglioramento che rende la fase di prompt lookup drafting 42 volte più veloce. Non si tratta dell'intera generazione, ma di un componente chiave della decodifica speculativa: un cambi...

#Hardware #LLM On-Premise #DevOps

2026-09-26 • LocalLLaMA

llama.cpp accelera il prefill su CPU con mul_mat a tessere per k-quants

Una pull request in llama.cpp introduce una moltiplicazione matrice-vettore a tessere per i formati k-quants. Secondo la segnalazione, l'uso delle istruzioni VNNI accelera il mul_mat su CPU di 3-7 volte con complessità aggiuntiva minima. Il guadagno ...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-26 • LocalLLaMA

Qwengram-0.8B: memoria esterna e gate dinamica cambiano i conti del self-hosted

Qwengram-0.8B congela Qwen3.5-0.8B e aggiunge una memoria n-gram da 51 miliardi di parametri fuori dal GGUF. La perplexity scende del 5,05%, ma il dato rilevante è l'architettura: iniezione tardiva governata da una gate per token, sidecar quantizzato...

2026-09-26 • LocalLLaMA

Oh My Pi apre ai modelli custom: vLLM, llama.cpp, SGLang

Una segnalazione su Oh My Pi indica supporto per modelli custom con vLLM, llama.cpp e SGLang. La fonte è scarna, ma il titolo basta per inquadrare un nodo: il serving self-hosted resta frammentato tra runtime con profili hardware diversi, e l'integra...

#Hardware #LLM On-Premise #DevOps

2026-09-25 • LocalLLaMA

Qwengram-0.8B: memoria n-gram esterna, perplexity giù del 5,05%

Un esperimento tiene congelato Qwen3.5-0.8B, aggiunge una memoria PLE da 51 miliardi di parametri e un reader R=1: la perplexity di validazione scende del 5,05%. L'autore avverte che non è un guadagno di accuratezza su benchmark e pubblica GGUF, runt...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-25 • LocalLLaMA

OpenVINO su Laya: 40 ms per domanda su CPU, 3,4 volte più veloce di PyTorch

Un contributo open source aggiunge il supporto a OpenVINO nel progetto Laya: il tempo di risposta scende a 40 millisecondi per domanda su CPU, con un guadagno di 3,4 volte rispetto a PyTorch. Il risultato mostra quanto l’ottimizzazione runtime possa ...

#Hardware #LLM On-Premise #DevOps

2026-09-24 • LocalLLaMA

ThinkingCap e Swift: chi doma il ragionamento eccessivo di Qwen3.8-27B?

Un confronto su llama.cpp con quantization Q8_0 mostra che i due fine-tuning riducono i token di completamento di circa il 40% rispetto a Qwen3.8-27B. I pass rate restano simili, ma Swift ha una riduzione più uniforme, mentre ThinkingCap paga una cod...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-23 • Phoronix

Lemonade corregge lo streaming su APU AMD e abbandona ROCm: Vulkan 40 volte più veloce

Il server AI locale open source Lemonade pubblica la 2026.39.1 e una release candidate della 2026.40. Oltre al nuovo schema di versioning, corregge lo streaming dei modelli su APU AMD e rimuove il supporto OpenMOSS su ROCm, circa 40 volte più lento d...

#Hardware #LLM On-Premise #DevOps

2026-09-23 • LocalLLaMA

GGUF nativi in Transformers: il punto per il deployment locale

Hugging Face ha aggiunto il supporto nativo ai file GGUF in Transformers. Basta indicare il percorso del file quantizzato per caricare il modello e usare le API standard. Su Apple Silicon vengono riutilizzati i kernel ggml, con benchmark su M2 Max vi...

#Hardware #LLM On-Premise #DevOps

2026-09-22 • ArXiv cs.LG

PRQuant: quantization low-bit con residui statici e layout contiguo

PRQuant combina riorganizzazione dei canali e compensazione residua statica per ridurre l'overhead di inference nella quantization low-bit. Il metodo è training-free, costruisce offline i blocchi contigui di coda ed evita la raccolta dinamica online,...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-22 • LocalLLaMA

Phantom-kv: una cache KV da 18 MB per modulare i limiti di un LLM senza toccare i pesi

Un sistema chiamato phantom-kv inietta una piccola banca di tensori key/value nella cache KV di un modello. Il risultato è una modalità di capacità per richiesta: si carica, si usa, si scarica. I pesi restano identici. L'audit segnala però limiti sem...

#LLM On-Premise #DevOps

2026-09-21 • LocalLLaMA

Supra2-IMG: il modello text-to-image da 100M che gira in locale

SupraLabs ha rilasciato Supra2-IMG, un modello text-to-image DiT da 100M parametri addestrato da zero in meno di 10 ore su una singola H100. Genera immagini 256×256 di qualità competitiva e funziona in locale: circa 20 secondi su CPU e 2 su GPU. Un c...

#Hardware #LLM On-Premise #Fine-Tuning

← Torna ai Topic

Architetture efficienti, quantization e runtime per inference locale

Articoli Correlati