Accelerazione hardware per AI on-device e on-premise

2026-09-29 • Phoronix

AMD spinge l'inference LLM in locale: Radeon iGPU fino al 23% più veloci con Linux 7.4

AMD introduce PerfOpt in Linux 7.4 per migliorare le prestazioni AI/LLM sulle Radeon integrate. I benchmark mostrano incrementi del 18-23% su hardware Ryzen, soprattutto entry-level. Un segnale per chi valuta l'inference locale: le iGPU diventano un'...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-29 • LocalLLaMA

L'EPYC a 256 core di AMD sfida la banda memoria delle GPU per LLM self-hosted

Il nuovo EPYC a 256 core porta una banda memoria pari al 91% di una RTX 5090 con controller a 16 canali DDR5-12800. La community LocalLLaMA reagisce tra sarcasmo e realismo per i costi dei moduli RDIMM ad alta densità e per il dubbio su quanti token ...

#Hardware #LLM On-Premise #DevOps

2026-09-28 • DigiTimes

Nvidia spinge i personal AI computer: l'on-premise diventa un formato

La spinta di Nvidia sui personal AI computer segnala un cambio di baricentro: l'inference LLM si avvicina al dispositivo locale. Non è solo hardware consumer, ma un nodo on-premise in miniatura che tocca VRAM, quantization, TCO e sovranità dei dati. ...

2026-09-28 • DigiTimes

La spinta di Nvidia sui personal AI computer accelera il calcolo on-premise

La spinta di Nvidia verso i personal AI computer, segnalata da DIGITIMES, indica un cambiamento strutturale: l'inference si sposta dal cloud a macchine locali. Per le aziende si aprono scenari di sovranità dei dati e TCO, ma anche vincoli di VRAM e q...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-27 • ServeTheHome

Snapdragon 8 Elite Gen 6: l'inference locale sposta il perimetro dei dati

Qualcomm presenta due system-on-chip con matrix core nella GPU e supporto LPDDR6. Non è una corsa ai benchmark: è un segnale sul confine della sovranità dei dati, che si sposta nel dispositivo. L'analisi AI-Radar sui vincoli di memoria, Quantization ...

2026-09-27 • ServeTheHome

Qualcomm presenta Snapdragon 8 Elite Gen 6: più Inference sul device

Qualcomm ha presentato i nuovi SoC Snapdragon 8 Elite Gen 6 e Elite Extreme Gen 6 con core Oryon, GPU matrix cores e supporto LPDDR6. Più che la potenza grezza, il segnale è la spinta dell'Inference locale: i carichi AI si spostano sul dispositivo. R...

#Hardware #LLM On-Premise #DevOps

2026-09-26 • Tom's Hardware

Nvidia: con RTX Mega Geometry 2.0 la geometria arriva in VRAM on demand

Nvidia presenta RTX Mega Geometry 2.0, che gestisce la geometria del ray tracing caricandola in VRAM su richiesta. L'approccio riduce la pressione sulla memoria video e segnala una direzione importante per i carichi locali, inclusi quelli legati all'...

#Hardware #LLM On-Premise #DevOps

2026-09-25 • LocalLLaMA

Mac Studio M5 Ultra: 256 GB di RAM, ma la GPU frena l'AI locale

Un utente ha testato un Mac Studio con M5 Ultra, 256 GB di RAM e GPU a 80 core per inference agentica con GLM-5.3-Flash. I risultati lo soddisfano, ma segnala che la GPU sembra sottodimensionata rispetto alla memoria, sollevando dubbi sull'utilità di...

#Hardware #LLM On-Premise

2026-09-24 • LocalLLaMA

Mac M5 Ultra 256GB: il silenzio dei benchmark penalizza l’on-premise

Il Mac M5 Ultra con 256 GB è sul mercato ma mancano benchmark seri: solo influencer che testano modelli da 8b. Questo vuoto informativo penalizza chi valuta l'hardware Apple per LLM self-hosted, favorendo di fatto l'ecosistema Nvidia. Senza dati ripe...

#Hardware #LLM On-Premise #DevOps

2026-09-24 • DigiTimes

Intel: il coordinamento CPU-GPU al centro dell'AI agentica

Intel sposta il focus sull'AI agentica: il coordinamento tra CPU e GPU diventa il fulcro. La mossa segnala una rilettura dell'hardware per workload che non si esauriscono in una singola inference, ma concatenano ragionamento, tool calling e memoria. ...

#Hardware #LLM On-Premise #DevOps

2026-09-09 • LocalLLaMA

A20 Pro: Apple spinge l'inference on-device con 32 core Neural Engine e 115 GB/s

Il nuovo SoC Apple A20 Pro porta il Neural Engine da 16 a 32 core e, grazie a un bus LPDDR5X a 96 bit su processo a 2 nm, raggiunge circa 115 GB/s di banda di memoria. Un investimento costoso che segnala la priorità strategica di Apple per l'esecuzio...

#Hardware #DevOps

2026-09-09 • Phoronix

System76 lancia Thelio Mira AI, desktop multi-GPU per training e inference

System76 ha presentato il Thelio Mira AI, un desktop pensato per carichi multi-GPU: training di modelli, fine-tuning, inference, computer vision e generazione di immagini. La macchina combina CPU AMD Ryzen 9000 con opzioni GPU NVIDIA o AMD e si prest...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-08 • DigiTimes

Huawei Kirin 9050 Pro: LogicFolding porta densità +55% e consumi NPU -66%

Huawei ha messo alla prova la tecnicia LogicFolding sul Kirin 9050 Pro: secondo la fonte, il guadagno di densità raggiunge il 55% e il consumo della NPU scende del 66%. Il dato segnala una direzione precisa per l'inference locale: chip più densi e NP...

#Hardware #LLM On-Premise #DevOps

2026-09-04 • LocalLLaMA

768 GB di VRAM, 18.000 euro: il sogno self-hosted davanti ai modelli da 2 trilioni

Un costruttore ha investito 18.000 euro in un server EPYC con 768 GB di VRAM e 256 GB di RAM per eseguire LLM open source di frontiera in locale. Ma i prossimi modelli, a partire da GLM 6, potrebbero essere due o tre volte più grandi, rendendo inutil...

#Hardware #LLM On-Premise

2026-09-04 • DigiTimes

Acer punta su RTX e GoogleBook mentre cresce la domanda di AI on-site

La scelta di Acer di puntare su RTX e GoogleBook segnala un riposizionamento dell'hardware verso l'inference locale. La domanda di AI in sede cresce per ragioni di sovranità, latenza e controllo dei costi, spingendo i vendor a investire su GPU e disp...

#Hardware #LLM On-Premise #Fine-Tuning

2026-09-03 • LocalLLaMA

sanoTTS: sintesi vocale completa su un microcontrollore da 3 dollari

Un nuovo stack TTS da 294mila parametri occupa 337 KB in INT8 e gira su un microcontrollore da 3 dollari con 512 KB di SRAM, senza NPU. Offre 11 voci e 6 lingue; il modello da 1,5 milioni di parametri supera reti più pesanti su SCOREQ. Un segnale per...

#Hardware

Accelerazione hardware per AI on-device e on-premise

Articoli Correlati