La rivoluzione dell'AI on-premise: modelli piccoli, quantization e inference locale

2026-07-28 • DigiTimes

Google spinge sui TPU, Meta aumenta la capacità: la mossa che cambia l'hardware AI on-prem

L'ultimo report di DIGITIMES fotografa un'ondata di investimenti infrastrutturali guidata da Google e Meta, trainati dalla crescita dei Large Language Models. Tra silicio personalizzato e cloud sempre più chiusi, AI-RADAR analizza le implicazioni per...

#Hardware #LLM On-Premise #DevOps

2026-07-27 • LocalLLaMA

Kimi K3: il MoE da 2.8T parametri in FP4 schiaccia A100 e H200, solo Blackwell lo regge

Moonshot rilascia Kimi K3, LLM MoE da 2.800 miliardi di parametri con quantization MXFP4. Per il deployment on-premise, un nodo da 8×A100 (640 GB) richiede tre macchine prima di allocare la cache KV; con 8×H200 (1.13 TB) servono due nodi. Solo 8×B300...

#Hardware #LLM On-Premise #DevOps

2026-07-27 • Tech.eu

Multiverse Computing cerca 570M per portare gli LLM sui dispositivi edge

La scaleup spagnola alza 570 milioni con una valutazione di 1,7 miliardi, puntando sulla tecnicia CompactifAI che riduce le dimensioni degli LLM fino al 95% senza perdita di accuratezza. La posta in gioco: spostare l'inference dai data center ai disp...

#Hardware #LLM On-Premise #DevOps

2026-07-26 • LocalLLaMA

Kimi K3, l’open weight che nessuno può eseguire è una vittoria amara per l’on-premise

Il passaggio di Kimi K3 all'open weight è una notizia importante per l'ecosistema open source, ma la stazza del modello lo rende irraggiungibile per la maggior parte delle infrastrutture private. Chi lo userà davvero e cosa significa per chi scommett...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-26 • LocalLLaMA

Cosa ci fate davvero con i piccoli LLM? Il segnale per l’on-premise

La domanda comparsa su Reddit – «Cosa ci fate con i modelli piccoli?» – svela un riassetto dell’infrastruttura AI lontano dai data center. AI-Radar analizza i quattro scenari d’uso reali, il ruolo decisivo della VRAM, del TCO e dei framework locali, ...

2026-07-25 • LocalLLaMA

Piccoli LLM, la vera frontiera on-premise: la comunità tech si interroga sugli usi concreti

Una domanda su Reddit apre un dibattito pratico: chi utilizza modelli di linguaggio di piccole dimensioni e per quali scopi? La discussione svela un ecosistema in rapida maturazione, dove l'efficienza computazionale e la sovranità dei dati contano pi...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-25 • ServeTheHome

Geekbench 7 riscrive le regole dei benchmark CPU/GPU: cosa cambia per l’hardware on‑premise

Geekbench 7 arriva con una revisione radicale di punteggi e test. L’impatto sugli acquisti hardware per inference e training LLM potrebbe essere più profondo del previsto, specie in ambienti dove si valuta ogni watt e ogni gigabyte di banda memoria.

#Hardware #DevOps

2026-07-25 • LocalLLaMA

Quantization statisticamente lossless: il trade-off che cambia le regole dell’on-premise

Un nuovo paper introduce la quantization “statisticamente senza perdita” (SLQ), che garantisce la qualità dell’output in termini probabilistici senza sacrificare la velocità. Definisce tre livelli di fedeltà e mostra che già sotto i 4 bit si preserva...

2026-07-25 • LocalLLaMA

Inflect v2: la sintesi vocale neurale da 4M di parametri gira tutta in locale

Il diciassettenne Owen Song rilascia Inflect v2: due modelli TTS completi da 4 e 9 milioni di parametri, sotto 38 MB, che operano su CPU senza API cloud. Micro e Nano offrono voce maschile fissa in inglese, niente clonazione. La vera notizia è la cor...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-24 • Phoronix

AMD promette rilasci di ROCm ogni sei settimane: un passo decisivo per l'AI on-premise

AMD ha annunciato all’evento Advancing AI un ciclo di rilascio rigoroso di sei settimane per la piattaforma ROCm. Una cadenza che promette prevedibilità e stabilità per sviluppatori e amministratori di sistema, colmando un divario storico con NVIDIA....

#Hardware #LLM On-Premise #DevOps

2026-07-24 • LocalLLaMA

Quantization statisticamente lossless: il paper che cambia il trade-off per i modelli on-premise

Un nuovo studio propone una via di mezzo tra compressione lossy e lossless: una quantization che preserva la qualità statistica dell’output, accelera l’inference e riduce i bit per parametro fino a 3,3. Implicazioni dirette per chi gestisce LLM su ha...

#Hardware #LLM On-Premise #DevOps

2026-07-24 • Phoronix

Linux 7.3 aggiunge il supporto alla GPU Imagination BXM-4-64 MC1: spinta per l’edge on-premise

La patch per il driver DRM di Imagination Technologies rende la GPU BXM-4-64 MC1 compatibile con il kernel Linux 7.3. Un passo tecnico che segnala una tendenza più ampia: hardware diversificato ottiene supporto nativo, abbassando le barriere per cari...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-24 • LocalLLaMA

Apertus 1.5: il modello AI totalmente aperto che abilita multimodalità e ragionamento on-premise

Swiss-AI rilascia Apertus 1.5, una famiglia di LLM da 8B e 70B parametri completamente aperta: pesi, dati di training e procedure sono pubblici. Multimodale (immagini, audio, testo), contesto fino a 262.144 token e una modalità di ragionamento miglio...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-24 • ArXiv cs.CL

Il giudizio estetico dei LLM è strutturale: ecco cosa cambia per lo stack on-premise

Uno studio su DeepSeek mostra che i LLM valutano la scrittura premiando struttura e voce, non il lessico. Questo ha implicazioni profonde per chi fa inference locale: quantization aggressiva, scelta dell'hardware e fine-tuning devono tenere conto del...

2026-07-24 • DigiTimes

AMD lancia ROCm.ai: l’inference per l’AI agentica accelera fino a 3.3x

AMD ha annunciato ROCm.ai, una piattaforma dedicata all’intelligenza artificiale agentica, promettendo guadagni in inference fino a 3.3x. L’iniziativa rafforza la strategia software dell’azienda in un settore sempre più orientato a deployment on‑prem...

#Hardware #LLM On-Premise #DevOps

2026-07-24 • ArXiv cs.CL

L'estetica dei LLM: come DeepSeek valuta la scrittura e cosa significa per il deployment on-premise

Uno studio su DeepSeek e Qwen QwQ estrae la teoria implicita di qualità letteraria dei modelli: contano struttura e voce, non il lessico. Accuratezza del 79,3% nella classificazione, con potenziali distorsioni da riconoscimento della fonte. Per i car...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-23 • Tom's Hardware

AMD mette i chip X100 nei robot: APU Strix Halo con Zen 5 e RDNA 3.5 per l’AI fisica

La nuova linea di chip X100 di AMD spinge le APU Strix Halo nel mondo della robotica, portando in dote core CPU Zen 5 e GPU RDNA 3.5 per inference edge. Un'architettura unificata che compete direttamente con Intel Panther Lake e ridisegna i contorni ...

#Hardware #LLM On-Premise #DevOps

2026-07-23 • Phoronix

AMD sfida CUDA con ROCm.AI, la piattaforma per sviluppatori ora è guidata dall’intelligenza artificiale

L'annuncio all'Advancing AI day segna una svolta software: ROCm.AI promette di abbassare le barriere per chi costruisce inference e training su GPU AMD, con un impatto diretto su chi valuta deployment on-premise e sovranità dei dati.

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-23 • PyTorch Blog

Helion sbarca sulle TPU: autotuning per 838 TFLOPs e kernel portabili tra GPU e cloud

Meta e Google collaborano per portare il DSL Helion sulle cloud TPU. Il compilatore genera codice Pallas ottimizzato, scegliendo tra due strategie di pipeline in base alla lunghezza della sequenza. Con flash attention, raggiunge 838 TFLOPs su TPU v7....

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-23 • Tom's Hardware

Geekbench 7: l’AI benchmark e CUDA ridisegnano la valutazione dell’hardware on-premise

Geekbench 7 introduce benchmark AI, carichi multimediali realistici e supporto CUDA. Non più solo numeri sintetici, ma metriche che contano per chi esegue LLM in locale. Un segnale che il benchmarking evolve verso l’era dell’inference on-premise.

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-23 • Phoronix

Ryzen AI Software 1.8: AMD spiana la strada all'inference locale sui PC

Con l'aggiornamento su GitHub poco prima del keynote di Lisa Su, AMD rafforza il supporto per modelli on-device su Ryzen AI. Ottimizzazioni e nuovi modelli spingono la sovranità dei dati e l'uso enterprise.

#Hardware #LLM On-Premise #DevOps

2026-07-22 • LocalLLaMA

Llama.cpp aggiunge il supporto per gli acceleratori Laguna: un tassello per l'inference locale

Il framework open source leader per l'inference LLM su CPU e GPU consumer ora riconosce le schede Laguna XS.2 e M.1, acceleratori pensati per carichi AI on-premise. L'integrazione diretta nel commit b10087 segnala una maturazione dell'ecosistema hard...

#Hardware #LLM On-Premise #DevOps

2026-07-22 • LocalLLaMA

Solar-Open2: l'LLM MoE a 15B attivi che punta ai carichi agentivi on-premise

Upstage rilascia Solar-Open2-250B, un modello open-weight pensato per flussi agentivi con architettura MoE ibrida: 250 miliardi di parametri totali, ma solo 15 miliardi attivi per token. Attenzione lineare e rimozione del positional encoding permetto...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-22 • LocalLLaMA

Unsloth quantizza Laguna S 2.1: un nuovo tassello per l’AI locale e sovrana

La quantization di Laguna S 2.1 a opera di Unsloth abbassa la barriera hardware per l’inference locale, rendendo un modello potente eseguibile su GPU consumer. Questo passo rafforza l’AI on-premise, riduce la dipendenza dal cloud, protegge i dati e a...

2026-07-22 • LocalLLaMA

Unsloth quantizza Laguna S 2.1: un altro passo verso l’AI on-premise

Il team Unsloth annuncia su Reddit la disponibilità di varie quantization per Laguna S 2.1. Il processo di compressione riduce il fabbisogno di VRAM e facilita l’esecuzione in locale, accelerando l’adozione di LLM self-hosted per esigenze di sovranit...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-22 • ArXiv cs.CL

SIFT, il classificatore che impara da sé: fine dei progetti di etichettatura

Un sistema di classificazione documentale che si auto-addestra usando una pipeline CPU economica e un giudice LLM. Il gate di promozione bloccato previene regressioni silenziose e l’onboarding richiede solo dichiarazioni, non lunghi progetti di annot...

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-22 • ArXiv cs.AI

L’LLM che non risponde: BatchDAG orchestra l’analisi dati con la regia dei modelli linguistici

BatchDAG fa generare a un LLM un grafo di esecuzione per interrogare dati aziendali su larga scala, abbattendo le chiamate al modello del 97% senza perdere qualità rispetto a pipeline ingegnerizzate a mano. Un segnale forte per chi vuole analytics on...

#Hardware #LLM On-Premise

2026-07-22 • PyTorch Blog

PyTorch Conference 2024: la maturità del framework passa da on-premise e debugging

La conferenza di San Jose porta in primo piano tool di osservabilità per CUDA graph, l'uso di TorchDynamo per accelerare e debuggare modelli, e l'addestramento multi-nodo. Un segnale chiaro per chi gestisce infrastrutture AI locali.

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-21 • LocalLLaMA

Laguna-S-2.1: il 120B di Poolside e il fork su misura per llama.cpp

Poolside rilascia Laguna-S-2.1, un LLM da 120 miliardi di parametri, accompagnato da file GGUF e da un fork personalizzato di llama.cpp. Scelta inedita che accelera il deployment on-premise e abbassa la barriera per l’esecuzione locale di modelli di ...

#Hardware #LLM On-Premise #DevOps

2026-07-21 • LocalLLaMA

Nanbeige4.2-3B: il Transformer ricorsivo che compete con modelli 4 volte più grandi

Con soli 3 miliardi di parametri non-embedding, Nanbeige4.2-3B sfrutta un'architettura Looped Transformer per offrire prestazioni da agente solide, superando modelli molto più grandi. Un segnale per chi cerca efficienza e controllo on-premise.

#Hardware #LLM On-Premise #DevOps

2026-07-21 • Phoronix

Canonical Enterprise Store: la gestione delle macchine air-gapped diventa ufficiale

Canonical formalizza l'Enterprise Store, soluzione per amministrare sistemi Ubuntu in ambienti offline o con connettività strettamente controllata. Un tassello infrastrutturale che rafforza la gestione autonoma delle macchine isolate, cruciale per ca...

#Hardware #LLM On-Premise #DevOps

2026-07-21 • Phoronix

Workstation AI con NVIDIA RTX 50: KDE, GNOME o Xfce? Cosa cambia per l’inference locale

Phoronix ha messo a confronto KDE Plasma 6.7, GNOME Shell 50.3 e Xfce 4.20 su CachyOS con GPU NVIDIA RTX 50. Per chi esegue LLM in locale, la scelta del desktop e del server grafico può pesare sulla memoria video e sulla stabilità dei carichi di calc...

#Hardware #LLM On-Premise #DevOps

2026-07-21 • Tom's Hardware

Nvidia ha già consegnato centinaia di migliaia di server solo CPU: è la scommessa sugli agenti

Le spedizioni di server Grace standalone segnano un cambio di rotta: la CPU diventa il fulcro nei data center agentici. L'analisi di AI-RADAR su cosa significa per la sovranità dei dati e il deployment on-premise.

#Hardware #LLM On-Premise #Fine-Tuning

2026-07-21 • Tom's Hardware

Raffreddamento passivo su RTX 4060: quando 2,5 kg di alluminio bastano per l'inference

Un modder monta un dissipatore in alluminio da 2,5 kg su una RTX 4060 e la raffredda per convezione naturale. Il test dimostra che carichi moderati, come l'inference LLM on-premise, potrebbero fare a meno delle ventole, con implicazioni per silenzios...

#Hardware #LLM On-Premise #Fine-Tuning