Topic / Trend Rising

Inference LLM locale e self-hosted

llama.cpp arriva alla 1.0 e AMD Loom porta 50 LLM su GPU client, mentre Unsloth e AMD abilitano l'accelerazione sulle NPU Ryzen AI. Strumenti aperti come Inside-llm e modelli MoE compatti come OVH Olala Mini abbassano la barriera per il self-hosting su hardware consumer.

Detected: 2026-11-20 · Updated: 2026-11-20

Articoli Correlati

2026-11-19 • Phoronix

Unsloth Desktop ora usa le NPU Ryzen AI di AMD, anche su Linux

AMD e Unsloth hanno annunciato il supporto all'Inference locale su NPU Ryzen AI in Unsloth Desktop, a partire dalle unità XDNA 2 e con compatibilità Linux. La novità riduce la dipendenza da GPU discrete e cloud per carichi leggeri, con potenziali van...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-17 • LocalLLaMA

OVH annuncia Olala Mini 7A1B: un LLM open source da 8 GB di VRAM

OVH ha presentato Olala Mini, un LLM open source da 7 miliardi di parametri con 1 miliardo di attivi, capace di girare su GPU da 8 GB e anche su CPU. L'architettura MoE usa solo una frazione del modello per richiesta, raggiunge 160 token/s su RTX A45...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-15 • LocalLLaMA

Llama.cpp recupera terreno: benchmark locali su RTX 5080 mostrano la svolta

Un hobbista ha confrontato nel tempo llama.cpp con il proprio motore di inference su una RTX 5080 da 16 GB. In pochi mesi llama.cpp è passato da essere più lento a superare l'alternativa custom, mantenendo un uso efficiente della VRAM. La notizia seg...

#Hardware #LLM On-Premise #DevOps
2026-11-14 • Phoronix

Il porting dei LLM come variabile di TCO: il segnale da AMD

L'esperimento AMD con HRX Loom e Ryzen AI Max mostra che portare 50 LLM su GPU client in tre giorni non è solo una prova di forza hardware. Il vero segnale è lo spostamento del valore verso il middleware e le pipeline di porting, con effetti su self-...

2026-11-13 • Phoronix

AMD: 50 LLM su GPU client in tre giorni con HRX Loom

Un team AMD ha portato 50 modelli Hugging Face su GPU client in circa tre giorni, usando il flusso di lavoro con agenti AI e il software HRX Loom v0.1 su hardware Ryzen AI Max 'Strix Halo'. L'esperimento segnala che la barriera per l'inference locale...

#Hardware #LLM On-Premise #DevOps
← Torna ai Topic