Inference AI Locale e On-Premise

2026-10-02 • LocalLLaMA

Qwen3.8-27B-Humanlike-Chat 2.0: il tono umano ora convive con tool call e istruzioni

La seconda versione della LoRA Qwen3.8-27B-Humanlike-Chat corregge i limiti della v1: ora le tool call funzionano, il modello chiede dettagli mancanti e segue le istruzioni senza perdere il tono da messaggistica umana. L'addestramento usa distillatio...

#Hardware #LLM On-Premise #Fine-Tuning

2026-10-02 • LocalLLaMA

llama.cpp aggiunge i Decision Models: l'inference locale cambia passo

Il progetto llama.cpp ha annunciato una nuova funzionalità denominata Decision Models, segnalando un ampliamento oltre la generazione testuale pura. Per chi gestisce Large Language Models in locale, la mossa suggerisce una maturazione verso output pi...

#Hardware #LLM On-Premise #DevOps

2026-10-01 • LocalLLaMA

Qwen 27B locale: un'estensione Pi.dev ferma il ragionamento e impone la risposta

Un'estensione per Pi.dev consente di saltare la fase di reasoning di un Qwen 27B in esecuzione locale con llama.cpp, usando lo stesso meccanismo nativo dell'interfaccia web. Con /skip-reasoning o Alt+T si ottiene subito l'output, ma l'autore avverte:...

#LLM On-Premise

2026-10-01 • LocalLLaMA

Un Tandy del 1990 parla con Qwen e genera immagini via server locale

DeskMind trasforma un Tandy 1000 TL/3 con processore 286 in un thin client per un server locale. Il 286 non vede mai JSON, base64 o PNG: riceve testo e immagini già adattate per il video. Sul server girano Qwen3.8-27B su RTX 5090 e Krea 2 su RTX 4090...

#Hardware #LLM On-Premise #DevOps

2026-10-01 • LocalLLaMA

llama.cpp ora supporta MTP con Qwen Flash Next: merge in 17 ore

La pull request #29761 di am17an introduce in llama.cpp il supporto MTP per Qwen Flash Next, con quantization GGUF già disponibili su Hugging Face. Un segnale per chi valuta stack locali: l'ecosistema self-hosted accorcia i tempi tra rilascio del mod...

#Hardware #LLM On-Premise #DevOps

2026-10-01 • LocalLLaMA

Riparte il lavoro su MTP per Qwen Flash Next in llama.cpp

Una pull request riapre l'integrazione MTP per Qwen Flash Next in llama.cpp, con quantizzazioni GGUF disponibili su Hugging Face. Il lavoro è ancora WIP; per chi esegue LLM in locale diventa un banco di prova per ridurre la latenza senza cambiare har...

#Hardware #LLM On-Premise #DevOps

2026-09-30 • LocalLLaMA

Hugging Face apre i kernel WebGPU per l'AI locale nel browser

Hugging Face ha reso open source una raccolta di kernel WebGPU per oltre 200 operazioni comuni di machine learning, eseguibili interamente nel browser. L'azienda punta a integrare queste ottimizzazioni in Transformers.js, ONNX Runtime Web e LiteRT.js...

#Hardware #LLM On-Premise #DevOps

2026-09-30 • Phoronix

Linux 7.4 abiliterà la NPU dei Ryzen AI Max 400: cosa cambia per l'on-premise

La serie Ryzen AI Max 400 'Gorgon Halo' sta per arrivare sul mercato, ma il supporto Linux alla NPU era rimasto indietro. Una patch di enablement dovrebbe entrare nel kernel 7.4. Per chi valuta inference locale e self-hosted, il ritardo segnala un pr...

#Hardware #LLM On-Premise #DevOps

2026-09-30 • LocalLLaMA

GLM-5.3-Flash sbarca su llama.cpp: l'inference locale avanza

La pull request #27773 di timkhronos integra GLM-5.3-Flash (GLM5-Next) in llama.cpp. Il modello diventa eseguibile su computer domestici, senza cloud. Un segnale per chi valuta deployment on-premise: i runtime open source si consolidano come canale d...

#Hardware #LLM On-Premise #DevOps

2026-09-29 • Phoronix

AMD spinge l'inference LLM in locale: Radeon iGPU fino al 23% più veloci con Linux 7.4

AMD introduce PerfOpt in Linux 7.4 per migliorare le prestazioni AI/LLM sulle Radeon integrate. I benchmark mostrano incrementi del 18-23% su hardware Ryzen, soprattutto entry-level. Un segnale per chi valuta l'inference locale: le iGPU diventano un'...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-29 • LocalLLaMA

L'EPYC a 256 core di AMD sfida la banda memoria delle GPU per LLM self-hosted

Il nuovo EPYC a 256 core porta una banda memoria pari al 91% di una RTX 5090 con controller a 16 canali DDR5-12800. La community LocalLLaMA reagisce tra sarcasmo e realismo per i costi dei moduli RDIMM ad alta densità e per il dubbio su quanti token ...

#Hardware #LLM On-Premise #DevOps

2026-09-29 • Phoronix

hw-monitor 0.6: monitoraggio GPU per processo su Linux

La versione 0.6 di hw-monitor introduce la lettura per-processo di utilizzo e memoria GPU sui driver DRM AMDGPU, Intel i915/Xe e Nouveau. Un tassello che colma un vuoto di osservabilità locale, utile per chi gestisce carichi GPU on-premise e ha bisog...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-29 • LocalLLaMA

Qwen3.8-Flash-Next: quantization e pruning portano un 176,9B su 32 GB

ISTA DASLab ha distribuito GGUFs quantizzati per Qwen3.8-Flash-Next e una variante Coder con metà degli expert rimossi. La combinazione GSQ e RCO porta il working set residente a 29,6 GB, dentro un acceleratore da 32 GB, con benchmark vicini o superi...

#LLM On-Premise #Fine-Tuning #DevOps

2026-09-28 • DigiTimes

Nvidia spinge i personal AI computer: l'on-premise diventa un formato

La spinta di Nvidia sui personal AI computer segnala un cambio di baricentro: l'inference LLM si avvicina al dispositivo locale. Non è solo hardware consumer, ma un nodo on-premise in miniatura che tocca VRAM, quantization, TCO e sovranità dei dati. ...

2026-09-28 • DigiTimes

La spinta di Nvidia sui personal AI computer accelera il calcolo on-premise

La spinta di Nvidia verso i personal AI computer, segnalata da DIGITIMES, indica un cambiamento strutturale: l'inference si sposta dal cloud a macchine locali. Per le aziende si aprono scenari di sovranità dei dati e TCO, ma anche vincoli di VRAM e q...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-27 • LocalLLaMA

Qwen 27B genera motion graphics su una RTX 4090: il confine locale si sposta

Un utente ha usato Qwen 27B su una RTX 4090 per produrre motion graphics ispirate ai recenti post con Opus 5.5. Il progetto, costruito con il framework Accuretta, mostra che la generazione creativa locale comincia a coprire casi d'uso finora riservat...

#Hardware #LLM On-Premise #DevOps

2026-09-27 • LocalLLaMA

Il collo di bottiglia non è il modello: Codex CLI sblocca un LLM locale

Un utente racconta come un modello Qwen 3.8 Flash Next su due RTX 3090 abbia superato GPT-5.6 Luna in un progetto reale, dopo essere stato collegato a Codex CLI. Il risultato riapre il dibattito su quale strato conti davvero nel deployment locale: no...

#Hardware #LLM On-Premise #DevOps

2026-09-27 • ServeTheHome

Snapdragon 8 Elite Gen 6: l'inference locale sposta il perimetro dei dati

Qualcomm presenta due system-on-chip con matrix core nella GPU e supporto LPDDR6. Non è una corsa ai benchmark: è un segnale sul confine della sovranità dei dati, che si sposta nel dispositivo. L'analisi AI-Radar sui vincoli di memoria, Quantization ...

2026-09-27 • ServeTheHome

Qualcomm presenta Snapdragon 8 Elite Gen 6: più Inference sul device

Qualcomm ha presentato i nuovi SoC Snapdragon 8 Elite Gen 6 e Elite Extreme Gen 6 con core Oryon, GPU matrix cores e supporto LPDDR6. Più che la potenza grezza, il segnale è la spinta dell'Inference locale: i carichi AI si spostano sul dispositivo. R...

#Hardware #LLM On-Premise #DevOps

2026-09-27 • Phoronix

Linux 7.4 rafforza il reset della GPU su Raspberry Pi: stabilità per l'edge

Il kernel Linux 7.4 introduce nel driver VC4 un supporto migliore al reset della GPU Broadcom V3D, insieme a nuovi helper HDMI 2.0. Per le Raspberry Pi usate come nodi locali, recuperare da un errore della GPU senza riavviare il sistema migliora la d...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-26 • LocalLLaMA

KoboldCpp integra un agente locale: 9 tool, prompt ridotto e 12 GB di VRAM

KoboldCpp ora include un harness agente integrato, attivabile con una spunta o con --agent. L'agente offre nove strumenti integrati, un prompt di sistema da circa 2.000 token e punta a sostituire tool esterni come Opencode, Codex e Claude Code. Richi...

#Hardware #LLM On-Premise #DevOps

2026-09-25 • LocalLLaMA

Mac Studio M5 Ultra: 256 GB di RAM, ma la GPU frena l'AI locale

Un utente ha testato un Mac Studio con M5 Ultra, 256 GB di RAM e GPU a 80 core per inference agentica con GLM-5.3-Flash. I risultati lo soddisfano, ma segnala che la GPU sembra sottodimensionata rispetto alla memoria, sollevando dubbi sull'utilità di...

#Hardware #LLM On-Premise

2026-09-25 • LocalLLaMA

OpenVINO su Laya: 40 ms per domanda su CPU, 3,4 volte più veloce di PyTorch

Un contributo open source aggiunge il supporto a OpenVINO nel progetto Laya: il tempo di risposta scende a 40 millisecondi per domanda su CPU, con un guadagno di 3,4 volte rispetto a PyTorch. Il risultato mostra quanto l’ottimizzazione runtime possa ...

#Hardware #LLM On-Premise #DevOps

2026-09-25 • Phoronix

Qualcomm pubblica le patch GPU Linux per Adreno 850 su Snapdragon X2 Mahua

Qualcomm ha diffuso patch open source per il driver GPU Adreno 850 nel SoC Mahua, destinato ai modelli inferiori della famiglia Snapdragon X2. La tempistica, un giorno dopo l'annuncio del supporto Linux per X2, indica che il codice aperto diventa par...

#Hardware #LLM On-Premise #DevOps

2026-09-24 • LocalLLaMA

Qwen3.8-Flash-Next su RTX 5070: 65 token/s con un motore dedicato

Una RTX 5070 da 12 GB esegue Qwen3.8-Flash-Next a 65,1 token/s con un motore di inference dedicato. Il progetto Strata mostra come un runtime specializzato possa battere llama.cpp sulla stessa precisione numerica, portando l'elaborazione del prompt a...

#Hardware #LLM On-Premise #DevOps

2026-09-24 • LocalLLaMA

Self-hosting Qwen-3.8-27B: il racconto di chi ha smesso di usare le API

Un utente documenta l'uso locale di Qwen-3.8-27B su Raspberry Pi con quantization Q4_K_S e contesto Q8_0. Costi di 2,4 centesimi per 1M token in input e 70 centesimi per 1M in output, paragonabili ai provider più economici. L'esperienza evidenzia pot...

#Hardware #LLM On-Premise #DevOps

2026-09-24 • LocalLLaMA

Mac M5 Ultra 256GB: il silenzio dei benchmark penalizza l’on-premise

Il Mac M5 Ultra con 256 GB è sul mercato ma mancano benchmark seri: solo influencer che testano modelli da 8b. Questo vuoto informativo penalizza chi valuta l'hardware Apple per LLM self-hosted, favorendo di fatto l'ecosistema Nvidia. Senza dati ripe...

#Hardware #LLM On-Premise #DevOps

2026-09-24 • Tom's Hardware

AMD e GDDR7 su Linux: il segnale infrastrutturale per chi fa inference on-premise

L'avvio del supporto GDDR7 nei driver Linux di AMD segnala un cambiamento per chi gestisce infrastrutture AI on-premise. La notizia, apparentemente tecnica, anticipa l'importanza della banda di memoria per l'inference LLM e riduce l'attrito di integr...

2026-09-23 • Phoronix

Lemonade corregge lo streaming su APU AMD e abbandona ROCm: Vulkan 40 volte più veloce

Il server AI locale open source Lemonade pubblica la 2026.39.1 e una release candidate della 2026.40. Oltre al nuovo schema di versioning, corregge lo streaming dei modelli su APU AMD e rimuove il supporto OpenMOSS su ROCm, circa 40 volte più lento d...

#Hardware #LLM On-Premise #DevOps

2026-09-23 • Phoronix

Qualcomm apre il driver Linux della Adreno 850 un giorno dopo il lancio

Qualcomm ha annunciato lo Snapdragon 8 Elite Extreme Gen 6 e, il giorno dopo, ha pubblicato le prime patch per il kernel Linux dedicate alla GPU Adreno 850 con il driver MSM. La tempistica segnala un'attenzione crescente all'abilitazione open source ...

#Hardware #LLM On-Premise #DevOps

2026-09-23 • Tom's Hardware

AMD inizia ad aggiungere il supporto GDDR7 ai driver GPU Linux

AMD ha iniziato ad aggiungere il supporto a GDDR7 nei driver GPU per Linux. Il lavoro di bring-up anticipa l'arrivo delle schede e tocca direttamente la banda di memoria, una variabile chiave per l'inference LLM su hardware locale. Per chi gestisce i...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-23 • LocalLLaMA

GGUF nativi in Transformers: il punto per il deployment locale

Hugging Face ha aggiunto il supporto nativo ai file GGUF in Transformers. Basta indicare il percorso del file quantizzato per caricare il modello e usare le API standard. Su Apple Silicon vengono riutilizzati i kernel ggml, con benchmark su M2 Max vi...

#Hardware #LLM On-Premise #DevOps

2026-09-22 • PyTorch Blog

vLLM separa i percorsi: livelli hardware-agnostic per non perdere la portabilità

Il progetto vLLM introduce livelli hardware-agnostic in-tree per continuare a supportare acceleratori out-of-tree, GPU datacenter più vecchie e schede consumer. Su NVIDIA H100 il throughput totale resta entro il 3,4% dell'implementazione nativa. La m...

#Hardware #LLM On-Premise #DevOps

2026-09-22 • Phoronix

ZLUDA estende il supporto CUDA su GPU AMD con le API cuFFT

Il progetto open source ZLUDA ha aggiunto il supporto ad alcune API cuFFT di NVIDIA appoggiandosi a hipFFT, il componente dello stack ROCm/HIP di AMD. La novità amplia il perimetro di compatibilità CUDA su GPU non NVIDIA come le Radeon e segnala un c...

#Hardware #LLM On-Premise #DevOps

2026-09-21 • LocalLLaMA

16 GB (e spesso 12 GB) è il tetto VRAM realistico per l'AI locale

La maggior parte di chi usa LLM in locale non dispone di configurazioni multi-GPU: 16 GB di VRAM, e spesso 12, sono il tetto reale. Gli ultimi sei mesi hanno reso il coding agentico praticabile anche su questa fascia, per esempio con quantizzazioni d...

#Hardware #LLM On-Premise #DevOps

2026-09-20 • LocalLLaMA

Von, 395M parametri e solo CPU: cosa cambia per l'inference on-premise

Von, un LLM open source da 395 milioni di parametri, gira interamente su CPU con 1-2 GB di memoria e latenze dichiarate tra 25 e 300 ms. Presentato su Reddit come sostituto di JEV, senza ottimizzazione iniziale, riapre il confronto su deployment loca...

2026-09-20 • LocalLLaMA

Qwen3.8-Flash-Next a 1M di contesto su Strix Halo: 38 tok/s in decode, 18 minuti di prefill

halogen 0.12.0 risolve il degrado a contesto profondo: su Ryzen AI Max+ 395 con 128 GB, la decodifica di Qwen3.8-Flash-Next a un milione di token sale da 27,3 a 38,3 tok/s, il prefill scende da 21,2 a 17,9 minuti. Un dato utile per chi valuta LLM sel...

#Hardware #LLM On-Premise #DevOps

2026-09-19 • LocalLLaMA

Von, il modello open source da 395M che gira solo su CPU

Annunciato Von, modello open source da 395 milioni di parametri presentato come drop-in replacement per JEV di TypeSafe. Funziona interamente su CPU con 1–2 GB di memoria e una latenza di 25–300 ms; secondo l'autore supera JEV in tutti i benchmark. I...

#Hardware #LLM On-Premise #DevOps

2026-09-18 • LocalLLaMA

RTX 5090, Bonsai 2 27B sfida Gemma 4 e Qwen 3.5 con una pagoda voxel

Un test one-shot su RTX 5090 confronta Bonsai 2 27B, Gemma 4 12B e Qwen 3.5 9B nella generazione di una pagoda voxel in three.js. Bonsai, in Quantization PQ2_0 da 7,2 GB, produce 106.396 token in 17,5 minuti a 101 token/s e risulta il migliore qualit...

#Hardware #LLM On-Premise #DevOps