Topic / Trend Rising

L’ecosistema dell’inference AI on-premise matura grazie a innovazioni hardware e software

I progressi nei driver GPU, nei metodi di quantization e nei motori di inference rendono il deployment locale dell’IA economico e sovrano. Progetti come llama.cpp, Unsloth e ROCm di AMD stanno riducendo le barriere per le imprese che cercano il controllo dei dati.

Detected: 2026-07-25 · Updated: 2026-07-25

Quantization statisticamente lossless: il paper che cambia il trade-off per i modelli on-premise

Un nuovo studio propone una via di mezzo tra compressione lossy e lossless: una quantization che preserva la qualità statistica dell’output, accelera l’inference e riduce i bit per parametro fino a 3,3. Implicazioni dirette per chi gestisce LLM su ha...

#Hardware #LLM On-Premise #DevOps

2026-07-24 • LocalLLaMA

Apertus 1.5: il modello AI totalmente aperto che abilita multimodalità e ragionamento on-premise

Swiss-AI rilascia Apertus 1.5, una famiglia di LLM da 8B e 70B parametri completamente aperta: pesi, dati di training e procedure sono pubblici. Multimodale (immagini, audio, testo), contesto fino a 262.144 token e una modalità di ragionamento miglio...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-23 • Phoronix

Ryzen AI Software 1.8: AMD spiana la strada all'inference locale sui PC

Con l'aggiornamento su GitHub poco prima del keynote di Lisa Su, AMD rafforza il supporto per modelli on-device su Ryzen AI. Ottimizzazioni e nuovi modelli spingono la sovranità dei dati e l'uso enterprise.

#Hardware #LLM On-Premise #DevOps

2026-07-22 • LocalLLaMA

Llama.cpp aggiunge il supporto per gli acceleratori Laguna: un tassello per l'inference locale

Il framework open source leader per l'inference LLM su CPU e GPU consumer ora riconosce le schede Laguna XS.2 e M.1, acceleratori pensati per carichi AI on-premise. L'integrazione diretta nel commit b10087 segnala una maturazione dell'ecosistema hard...

#Hardware #LLM On-Premise #DevOps

2026-07-22 • LocalLLaMA

Unsloth quantizza Laguna S 2.1: un altro passo verso l’AI on-premise

Il team Unsloth annuncia su Reddit la disponibilità di varie quantization per Laguna S 2.1. Il processo di compressione riduce il fabbisogno di VRAM e facilita l’esecuzione in locale, accelerando l’adozione di LLM self-hosted per esigenze di sovranit...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-20 • LocalLLaMA

543 tok/s: un motore custom fa volare Qwen 35B su una sola RTX 5090

NInfer, un inference engine open source scritto da zero in C++/CUDA, raggiunge 543 token al secondo su Qwen3.6-35B-A3B con un prompt da 65mila token, tutto su una singola RTX 5090. Quantization su misura e ottimizzazioni hardware spingono le prestazi...

#Hardware #LLM On-Premise #DevOps

2026-07-18 • Phoronix

Driver NVK Vulkan in ascesa: Mesa 26.2 accorcia le distanze da NVIDIA proprietario

Il driver open-source NVK Vulkan per GPU NVIDIA continua a migliorare con Mesa 26.2, segnale di un ecosistema libero sempre più competitivo. Analizziamo cosa significa per chi sceglie stack on-premise e sovranità tecnicica.

#Hardware #LLM On-Premise #Fine-Tuning

← Torna ai Topic

L’ecosistema dell’inference AI on-premise matura grazie a innovazioni hardware e software

Articoli Correlati

Quantization statisticamente lossless: il paper che cambia il trade-off per i modelli on-premise

Apertus 1.5: il modello AI totalmente aperto che abilita multimodalità e ragionamento on-premise

Ryzen AI Software 1.8: AMD spiana la strada all'inference locale sui PC

Llama.cpp aggiunge il supporto per gli acceleratori Laguna: un tassello per l'inference locale

Unsloth quantizza Laguna S 2.1: un altro passo verso l’AI on-premise

543 tok/s: un motore custom fa volare Qwen 35B su una sola RTX 5090

Driver NVK Vulkan in ascesa: Mesa 26.2 accorcia le distanze da NVIDIA proprietario