Topic / Trend Rising

Ecosistema aperto ed efficiente di LLM locali

llama.cpp 1.0, migliori prestazioni su RTX 5080 e nuovi modelli aperti compatti/MoE rendono l'inference locale pratica su hardware consumer. Il fine-tuning specializzato e gli strumenti token-per-token rafforzano lo spostamento verso deployment piccoli e self-hosted.

Detected: 2026-11-18 · Updated: 2026-11-18

Articoli Correlati

2026-11-17 • LocalLLaMA

OVH annuncia Olala Mini 7A1B: un LLM open source da 8 GB di VRAM

OVH ha presentato Olala Mini, un LLM open source da 7 miliardi di parametri con 1 miliardo di attivi, capace di girare su GPU da 8 GB e anche su CPU. L'architettura MoE usa solo una frazione del modello per richiesta, raggiunge 160 token/s su RTX A45...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-17 • LocalLLaMA

Maxwell-V1-Flash: 35B totali, 3B attivi e contesto a 256K token

Il team Maxwell ha pubblicato Maxwell-V1-Flash, un LLM MoE con 35 miliardi di parametri totali e 3 miliardi attivi per token. Punta su attenzione block-sparse, contesto fino a 256K token e capacità agentiche, riducendo il costo pratico dell'inference...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-15 • LocalLLaMA

Llama.cpp recupera terreno: benchmark locali su RTX 5080 mostrano la svolta

Un hobbista ha confrontato nel tempo llama.cpp con il proprio motore di inference su una RTX 5080 da 16 GB. In pochi mesi llama.cpp è passato da essere più lento a superare l'alternativa custom, mantenendo un uso efficiente della VRAM. La notizia seg...

#Hardware #LLM On-Premise #DevOps
2026-11-14 • LocalLLaMA

SenseNova-Loop-9B: un 9B che sfida i 27B, ma l'inference è il nodo

La pagina Hugging Face di SenseNova-Loop-9B-Preview attira l'attenzione di un utente: prestazioni paragonabili a Qwen 3.5 27B con soli 9B parametri, ma con parametri di inference intorno a 15B e MTP. Il framework è promettente ma non ancora rifinito.

#Hardware #LLM On-Premise #DevOps
← Torna ai Topic