Topic / Trend Rising

Inference locale efficiente e piccoli modelli

Quantization runtime, architetture MoE, supporto NPU e fine-tuning con pochi parametri stanno rendendo praticabile il deployment self-hosted degli LLM su hardware consumer ed edge.

Detected: 2026-11-21 · Updated: 2026-11-21

Articoli Correlati

2026-11-19 • Phoronix

Unsloth Desktop ora usa le NPU Ryzen AI di AMD, anche su Linux

AMD e Unsloth hanno annunciato il supporto all'Inference locale su NPU Ryzen AI in Unsloth Desktop, a partire dalle unità XDNA 2 e con compatibilità Linux. La novità riduce la dipendenza da GPU discrete e cloud per carichi leggeri, con potenziali van...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-17 • LocalLLaMA

OVH annuncia Olala Mini 7A1B: un LLM open source da 8 GB di VRAM

OVH ha presentato Olala Mini, un LLM open source da 7 miliardi di parametri con 1 miliardo di attivi, capace di girare su GPU da 8 GB e anche su CPU. L'architettura MoE usa solo una frazione del modello per richiesta, raggiunge 160 token/s su RTX A45...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-17 • LocalLLaMA

Maxwell-V1-Flash: 35B totali, 3B attivi e contesto a 256K token

Il team Maxwell ha pubblicato Maxwell-V1-Flash, un LLM MoE con 35 miliardi di parametri totali e 3 miliardi attivi per token. Punta su attenzione block-sparse, contesto fino a 256K token e capacità agentiche, riducendo il costo pratico dell'inference...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-15 • LocalLLaMA

Llama.cpp recupera terreno: benchmark locali su RTX 5080 mostrano la svolta

Un hobbista ha confrontato nel tempo llama.cpp con il proprio motore di inference su una RTX 5080 da 16 GB. In pochi mesi llama.cpp è passato da essere più lento a superare l'alternativa custom, mantenendo un uso efficiente della VRAM. La notizia seg...

#Hardware #LLM On-Premise #DevOps
2026-11-14 • LocalLLaMA

SenseNova-Loop-9B: un 9B che sfida i 27B, ma l'inference è il nodo

La pagina Hugging Face di SenseNova-Loop-9B-Preview attira l'attenzione di un utente: prestazioni paragonabili a Qwen 3.5 27B con soli 9B parametri, ma con parametri di inference intorno a 15B e MTP. Il framework è promettente ma non ancora rifinito.

#Hardware #LLM On-Premise #DevOps
← Torna ai Topic