Topic / Trend Rising

Accelerazione dell'AI Self-Hosted ed Edge

GPU consumer, NPU e driver Linux stanno rendendo l'inference locale e homelab sempre più praticabile. AMD, Intel e l'ecosistema llama.cpp stanno abbassando le barriere per il serving on-premise dei modelli.

Detected: 2026-11-22 · Updated: 2026-11-22

Articoli Correlati

2026-11-21 • Phoronix

Intel Linux NPU Driver 1.39.1: ufficiale il supporto a Nova Lake

Intel ha rilasciato la versione 1.39.1 del driver Linux per NPU, aggiungendo il supporto ufficiale a Nova Lake. Il driver user-space completa il lavoro già confluito nel kernel con il driver Intel IVPU, che da tempo include le patch per la NPU di ses...

#Hardware #LLM On-Premise #DevOps
2026-11-21 • Tom's Hardware

Due RTX 3090 e Optane eseguono Kimi, un LLM da 2,8 trilioni di parametri

Un homelabber ha configurato due GeForce RTX 3090 con storage Intel Optane di seconda generazione per eseguire un modello Kimi AI da 2,8 trilioni di parametri, raggiungendo 3,11 token al secondo. Il caso mostra come l'offloading su memoria persistent...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-19 • Phoronix

Unsloth Desktop ora usa le NPU Ryzen AI di AMD, anche su Linux

AMD e Unsloth hanno annunciato il supporto all'Inference locale su NPU Ryzen AI in Unsloth Desktop, a partire dalle unità XDNA 2 e con compatibilità Linux. La novità riduce la dipendenza da GPU discrete e cloud per carichi leggeri, con potenziali van...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-17 • LocalLLaMA

Intel D270: 5,9x su FP64 e latenza più bassa nell'inference AI

Intel ha pubblicato i primi benchmark della GPU Crescent Island D270. Sul fronte FP64 rivendica un throughput 5,9 volte superiore alla RTX PRO 6000. Nei benchmark AI mostra latenza inferiore del 29% e throughput di 1,12x rispetto alla controparte NVI...

#Hardware #LLM On-Premise #DevOps
2026-11-17 • Phoronix

Intel D270 e open source: un segnale per chi fa self-hosting

L'annuncio della GPU D270 a Supercomputing 2026 non offre specifiche ma sposta l'attenzione sul software open source. AI-Radar analizza le implicazioni per deployment self-hosted, TCO e sovranità dei dati: prestazioni da verificare, driver e runtime ...

2026-11-16 • Phoronix

Intel punta sulla GPU D270 tra prestazioni e software open source

Durante la settimana di Supercomputing 2026, Intel ha acceso i riflettori sulla GPU D Series 'Crescent Island' basata su Xe3P, sottolineando prestazioni e supporto software open source. Un segnale per chi valuta hardware self-hosted, anche se i detta...

#Hardware #LLM On-Premise #Fine-Tuning
2026-11-15 • LocalLLaMA

Llama.cpp recupera terreno: benchmark locali su RTX 5080 mostrano la svolta

Un hobbista ha confrontato nel tempo llama.cpp con il proprio motore di inference su una RTX 5080 da 16 GB. In pochi mesi llama.cpp è passato da essere più lento a superare l'alternativa custom, mantenendo un uso efficiente della VRAM. La notizia seg...

#Hardware #LLM On-Premise #DevOps
← Torna ai Topic