AI-RADAR.it
AI-RADAR.IT
News & analisi per LLM locali, stack e hardware on-prem.

AI-Radar - Osservatorio su LLM locali, hardware AI e trend

AI-Radar per LLM on-prem & AI in casa

Il radar quotidiano su modelli, framework e hardware per far girare l'AI in locale. LLM, LangChain, Chroma, mini-PC e tutto ciò che serve per un cervello distribuito "in-house".

⚙️ Stack: LLM locali · LangChain · Transformers · ChromaDB · MiniPC · AI boxes
🛰️ Ask Observatory (Q&A + RAG) già collegato all'archivio articoli.
👥 160+ membri · Iscriviti gratis →
📡

Il Segnale del Giorno

Muse Spark Open: il segnale vero è nei kernel portatili, non nei 816B

Muse Spark Open: il segnale vero è nei kernel portatili, non nei 816B

Meta ha aperto i pesi di Muse Spark Open, ma il punto non è solo la scala: Helion, DSL nativo PyTorch per kernel portatili, e il supporto TorchTitan p...

📡 Segnale AI 2026-10-16

⚡ In Tendenza

View All →
Limiti dei benchmark ed evoluzione... Framework AI open-source ed... Quantization estrema per LLM compatti Mercato degli acceleratori AI e...

🛠️ Guide & Osservatorio On-Premise

🚀 Esegui i modelli in locale → Tutte le guide →

Riferimenti evergreen e pratici per far girare l'AI in locale — hardware, costi, privacy e stack completo.

🖥️ Osservatorio LLM On-Premise Hardware, stack, governance e architetture di riferimento per l'AI in locale. →
⚡ Le migliori GPU per LLM locali 📊 Quanta VRAM per Llama 70B 🧮 KV-cache e memoria di contesto 💰 Quanto costa un LLM in locale 🏎️ Motori di serving a confronto 🧩 Ollama vs LM Studio 🔒 ChatGPT privato per aziende 📉 Quantizzazione LLM spiegata 🇮🇹 LLM on-prem per la PMI italiana ⌨️ Coding assistant locale (VS Code) 💬 Costruisci un chatbot RAG privato 🚀 Esegui i modelli in locale (Qwen, Llama, R1…)

Ultime analisi & news dal radar

Articoli generati dall'AI sulla base dei feed, con spazio per layer editoriale umano sopra il contenuto grezzo.

NVIDIA e il 4B BF16: il peso specifico dell'inference locale
📁 LLM AI generated ℹ️ LocalLLaMA

NVIDIA e il 4B BF16: il peso specifico dell'inference locale

Un modello da 4 miliardi di parametri in precisione BF16 firmato NVIDIA Nemotron Labs appare su Hugging Face. Non è la dimensione a contare, ma il formato: BF16 tiene il modello lontano dalle compressioni spinte e lo colloca nello spazio dei deployment locali su GPU con VRAM adeguata. Ne analizziamo le implicazioni per chi valuta self-hosted e TCO.

2026-10-17 📰 Fonte
ORL spinge i diffusion LLM a 2.788 token/s su una RTX 5090
📁 Hardware AI generated ℹ️ LocalLLaMA

ORL spinge i diffusion LLM a 2.788 token/s su una RTX 5090

Il progetto ORL (On-Policy Residual Learning) promette di accelerare i diffusion LLM senza sacrificare la qualità. Su una singola RTX 5090 il team segnala 2.788 token/s con LLaDA-2.1-mini in NVFP4; il motore di inference dlmrt, open source, sfrutta CUDA graph e supporta le GPU Blackwell. Numeri di picco in modalità single-request, ma il valore sta nel cambio di prospettiva per chi valuta deployment self-hosted.

2026-10-16 📰 Fonte
Beam di Reflection: ragionamento a token ridotti, memoria da 501 miliardi
📁 LLM AI generated ℹ️ LocalLLaMA

Beam di Reflection: ragionamento a token ridotti, memoria da 501 miliardi

Reflection ha rilasciato Beam, LLM aperto con architettura MoE da 501 miliardi di parametri totali e 23 miliardi attivi. Supporta contesto da 1 milione di token e precisioni BF16, FP8 e NVFP4. La tesi è il ragionamento token-efficiente: circa un terzo dei token di inference rispetto ai modelli aperti leader. I benchmark mostrano risultati forti su coding e matematica, ma la memoria resta il nodo per il self-hosted.

2026-10-16 📰 Fonte
Ragionamento nascosto: l’approccio ibrido che dimezza i token degli LLM
📁 LLM AI generated ℹ️ LocalLLaMA

Ragionamento nascosto: l’approccio ibrido che dimezza i token degli LLM

Un preprint di Stanford, Together AI, UIUC e Meta introduce i Hybrid Reasoning Agents: modelli che ragionano in modo interno e producono testo solo per tool e risposta finale. Nei test segnalati guadagnano circa il 10%, usano metà token, girano due volte più veloci e costano meno. Il vero cambiamento è strutturale: il ragionamento esce dal flusso testuale, con effetti su verificabilità, fiducia e TCO dell’inference.

2026-10-16 📰 Fonte
Tencent Hy-Memory-30B-A3B: perché 3B attivi contano più di 30B totali
📁 LLM AI generated ℹ️ LocalLLaMA

Tencent Hy-Memory-30B-A3B: perché 3B attivi contano più di 30B totali

La scheda del modello Tencent Hy-Memory-30B-A3B accende il dibattito su un dato sfuggente: un'architettura con 3 miliardi di parametri attivi su 30 miliardi totali supererebbe Opus 5 in un test di memoria non specificato. Il punto non è il benchmark, ma il segnale strutturale per chi valuta deployment self-hosted: meno parametri attivi possono ridurre VRAM e costi di inference, senza rendere il modello più semplice da valutare.

2026-10-16 📰 Fonte
Qwen Flash Next: il quant Q2 GYRO-M sfida i team di ISTA Lab
📁 LLM AI generated ℹ️ LocalLLaMA

Qwen Flash Next: il quant Q2 GYRO-M sfida i team di ISTA Lab

Un test empirico di tre giorni su GYRO-M, quantization Q2 del modello Qwen Flash Next, segnala stabilità paragonabile al q3 ISTA con dimensioni ridotte. Il progetto nasce da un singolo contributore e mostra tenuta su contesti lunghi, ma evidenzia criticità sui testi cirillici. Una novità che riapre il confronto su quantization, loop resistance e metriche di qualità per deployment locali.

2026-10-16 📰 Fonte
Intel pubblica LLM-Scaler-vLLM PV 1.5: stack Docker per LLM su GPU Arc
📁 Frameworks AI generated ✅ Phoronix

Intel pubblica LLM-Scaler-vLLM PV 1.5: stack Docker per LLM su GPU Arc

Gli ingegneri software di Intel hanno rilasciato LLM-Scaler-vLLM PV 1.5, uno stack Docker pensato per semplificare l'inference di LLM su hardware Intel Arc. La novità segnala un investimento software mirato a rendere le GPU discrete dell'azienda più competitive nel deployment locale, riducendo l'attrito operativo per chi valuta alternative self-hosted.

2026-10-16 📰 Fonte
Sovranità open source: il lavoro noioso che la rende concreta
📁 Hardware AI generated ✅ The Register AI

Sovranità open source: il lavoro noioso che la rende concreta

Al Summit Europe l'attenzione va a GPU e AI, ma la parte più concreta viene dai piani di conformità CRA, metriche OSPO e obiettivi di migrazione come il 70% open source di Berlino entro il 2032. La burocrazia diventa infrastruttura.

2026-10-16 📰 Fonte
Bolt Graphics cerca 100 milioni di dollari per sfidare Nvidia e AMD con la GPU Zeus
📁 Hardware AI generated ✅ DigiTimes

Bolt Graphics cerca 100 milioni di dollari per sfidare Nvidia e AMD con la GPU Zeus

Bolt Graphics cerca 100 milioni di dollari per sviluppare Zeus, una GPU che punta a sfidare Nvidia e AMD oltre i soli carichi AI. La fonte non riporta specifiche tecniche, ma la mossa segnala un tentativo di creare un terzo polo hardware. Il successo dipenderà meno dal silicio e più dall'ecosistema software, dal TCO e dalla capacità di convincere chi gestisce pipeline self-hosted.

2026-10-16 📰 Fonte
Muse Spark Open: il segnale vero è nei kernel portatili, non nei 816B
📁 OnPremise AI generated ✅ PyTorch Blog

Muse Spark Open: il segnale vero è nei kernel portatili, non nei 816B

Meta ha aperto i pesi di Muse Spark Open, ma il punto non è solo la scala: Helion, DSL nativo PyTorch per kernel portatili, e il supporto TorchTitan per fine-tuning spostano il confronto su controllo hardware, TCO e self-hosting. Analisi di secondo e terzo ordine.

2026-10-16 📰 Fonte
PRISM insegna ai sistemi multi-agente a scegliere la topologia giusta per ogni query
📁 Frameworks AI generated 🏆 ArXiv cs.CL

PRISM insegna ai sistemi multi-agente a scegliere la topologia giusta per ogni query

PRISM recupera un segnale per-query da corpora di grafi verificati che non hanno ranking. Un teacher legge un grafo sibling tramite un ramo low-rank zero-initialized; lo studente allinea i target decisionali su traiettorie auto-campionate. Su sei benchmark il metodo supera le baseline di progettazione topologica. L'effetto più interessante è sui costi di inference: meno interazioni superflue tra agenti, un vantaggio concreto per chi gestisce infrastrutture self-hosted.

2026-10-16 📰 Fonte
DeepUnfolding Agent: il controllo adattivo diventa un servizio esterno
📁 Frameworks AI generated 🏆 ArXiv cs.CL

DeepUnfolding Agent: il controllo adattivo diventa un servizio esterno

La piattaforma FastAPI proposta da DeepUnfolding Agent separa il controller adattivo dall'esecuzione di dominio. Gli executor registrano uno schema, inviano diagnostiche di round e ricevono azioni di controllo vincolate, con persistenza SQLite, deploy Docker e percorsi classici, quantistici e ibridi. I test citati coprono finanza, sanità, genomica, trasporti, simulazione quantistica rumorosa ed esecuzione su hardware IBM Quantum. Il risultato è un layer di controllo riutilizzabile, tracciabile e validabile a livello API.

2026-10-16 📰 Fonte
Benchmark saturi: nei transcript resta segnale utile
📁 LLM AI generated 🏆 ArXiv cs.AI

Benchmark saturi: nei transcript resta segnale utile

Quando più modelli raggiungono punteggi quasi perfetti, i benchmark perdono capacità di distinguerli. Uno studio mostra che le trascrizioni complete dei task, anche da benchmark saturi, conservano informazioni predittive. Il pairwise judging riduce l'errore di predizione di 5,3 volte rispetto ai soli punteggi. Il segnale però non sempre regge ai cambi di distribuzione: i primi modelli di reasoning del 2025 sono stati sottostimati.

2026-10-16 📰 Fonte
DeepSeek-V4-Flash su 4 Radeon AI PRO R9700: la modalità da 79 tok/s funziona
📁 Hardware AI generated ℹ️ LocalLLaMA

DeepSeek-V4-Flash su 4 Radeon AI PRO R9700: la modalità da 79 tok/s funziona

Un test con quattro Radeon AI PRO R9700 reali mostra che il motore affinity gestisce la configurazione multi-GPU senza output degeneri. La quantization a 2,875 bpw tiene 11.008 esperti in VRAM: 79 token/s in greedy, nessun host pool allocato. Il bug era nella simulazione con due schede, non nell'esecuzione multi-rank.

2026-10-16 📰 Fonte
Meta apre i pesi di Muse Spark Open: 816B parametri e contesto da 1M token
📁 LLM AI generated ✅ PyTorch Blog

Meta apre i pesi di Muse Spark Open: 816B parametri e contesto da 1M token

Meta rilascia i pesi di Muse Spark Open, modello da 816 miliardi di parametri totali e 42 miliardi attivi con finestra da 1M token. L'annuncio unisce Helion e TorchTitan: kernel portabili su GPU NVIDIA, AMD e Intel e strumenti di fine-tuning nativo PyTorch. Un segnale per chi valuta deployment on-premise, ma pesi aperti non significa licenza open source.

2026-10-15 📰 Fonte
Nemotron 3.5 Bolt: un VLM da 74B compresso in 24 GB per l'on-premise
📁 LLM AI generated ℹ️ LocalLLaMA

Nemotron 3.5 Bolt: un VLM da 74B compresso in 24 GB per l'on-premise

NVIDIA descrive Nemotron 3.5 Bolt come modello vision-language per task agentici locali: 74B parametri totali, 9B attivi, quantization nativa a 2 bit e footprint da 24 GB. Supporta testo, immagini, video e contesto fino a 256K token; l'esecuzione avviene con vLLM su Ampere, Hopper e Blackwell.

2026-10-15 📰 Fonte
RTX 5060 Ti a $1.292 in Giappone: il Black Friday delle GPU è già un test
📁 Market AI generated ℹ️ LocalLLaMA

RTX 5060 Ti a $1.292 in Giappone: il Black Friday delle GPU è già un test

La RTX 5060 Ti da 16 GB tocca 1.292 dollari in Giappone con aumenti fino al 144%; la RTX 5080 supera i 2.400. Più che un problema di gaming, è il segnale di una domanda di VRAM contesa con l’inference locale di LLM. I prezzi finali mettono in discussione il TCO di nodi self-hosted e spingono a rivedere le alternative.

2026-10-15 📰 Fonte
Microsoft e il modello locale da 137 miliardi di parametri: la mossa per il codice on-premise
📁 LLM AI generated ℹ️ LocalLLaMA

Microsoft e il modello locale da 137 miliardi di parametri: la mossa per il codice on-premise

Microsoft AI ha sviluppato una versione locale di MAI Code 1.1 Flash, modello di coding ottimizzato con architettura mixture-of-experts: 137 miliardi di parametri totali e 6,8 miliardi attivi. La notizia segnala una spinta verso strumenti di sviluppo self-hosted su Windows, con implicazioni per sovranità dei dati e costi di inference locale.

2026-10-15 📰 Fonte
Mr.Chatterbox-2.7B-Chat: un LLM addestrato da zero sui testi vittoriani
📁 LLM AI generated ℹ️ LocalLLaMA

Mr.Chatterbox-2.7B-Chat: un LLM addestrato da zero sui testi vittoriani

Presentato nella community da u/centerstate, Mr.Chatterbox-2.7B-Chat è un checkpoint pre-addestrato e rifinito con fine-tuning su testi vittoriani per la massima accuratezza storica. L'approccio da zero su un dominio specifico, con un modello da 2,7 miliardi di parametri, apre scenari per deployment self-hosted e controllo dei dati, pur restando un esperimento di nicchia.

2026-10-15 📰 Fonte
AMD W7900 e LFM2.5: il segnale di un on-premise sempre più concreto
📁 Hardware AI generated ℹ️ LocalLLaMA

AMD W7900 e LFM2.5: il segnale di un on-premise sempre più concreto

La prova di un LLM da 24 miliardi di parametri su AMD W7900, con contesto da 128.000 token e circa 95 token al secondo, segnala che l'inference on-premise si consolida anche fuori dall'ecosistema NVIDIA. L'analisi di AI-Radar esplora trade-off, sovranità dei dati e TCO.

2026-10-15 📰 Fonte
Il bengalese smonta le certezze dei benchmark LLM in inglese
📁 LLM AI generated 🏆 ArXiv cs.CL

Il bengalese smonta le certezze dei benchmark LLM in inglese

Un benchmark zero-shot su otto LLM mostra che la qualità della summarization non si trasferisce dall'inglese al bengalese. GPT-5.6 Luna domina alcune metriche lessicali inglesi, ma LLaMA 3.3 70B ottiene i migliori ROUGE e BLEU bengalesi; Gemini 2.5 Flash primeggia in factuality. I ranking cambiano con la metrica: per le lingue a basse risorse serve un evaluation framework multilingue.

2026-10-15 📰 Fonte
Voice agent e recupero crediti: la conformità diventa una specifica
📁 OnPremise AI generated 🏆 ArXiv cs.CL

Voice agent e recupero crediti: la conformità diventa una specifica

Un modello da 9 miliardi di parametri, addestrato una sola volta su 2.506 conversazioni generate da 297 procedure, affronta procedure di recupero crediti mai viste. I controlli documentali passano da 67-71% a 93-100%, i controlli grounded restano alti. L'audit della specifica condivisa trova 11 difetti, tre non rilevati dalla metrica.

2026-10-15 📰 Fonte
Modello inverso: addestrare LLM al ragionamento senza CoT
📁 LLM AI generated 🏆 ArXiv cs.LG

Modello inverso: addestrare LLM al ragionamento senza CoT

Un gruppo di ricercatori usa un LLM 'inverso' per ricostruire le tracce di ragionamento partendo dalle sole risposte. Il modello, addestrato una volta, genera in modo offline i passaggi intermedi per dati prompt-risposta, evitando i rollout multipli del reinforcement learning. Su Qwen3-0.6B una singola distillazione raddoppia pass@1 sui prompt difficili; lo stesso modello inverso fa da verificatore e porta la selezione best-of-n su Countdown da 0.753 a 0.969.

2026-10-15 📰 Fonte
Lotus: prevedere il futuro per comprendere le serie temporali
📁 LLM AI generated 🏆 ArXiv cs.LG

Lotus: prevedere il futuro per comprendere le serie temporali

Il forecast grounding obbliga i modelli time-series allineati al linguaggio a conservare la dinamica temporale prima di affrontare i task finali. Lotus usa patch temporali-spettrali e parametri minimi, superando baseline molto più grandi su TSRBench.

2026-10-15 📰 Fonte
Il primo esame dell’artificialità: un C-test basato su LLM per la sovraintelligenza
📁 LLM AI generated 🏆 ArXiv cs.AI

Il primo esame dell’artificialità: un C-test basato su LLM per la sovraintelligenza

Un nuovo test usa Levin's Kt e i modelli linguistici come macchine di rappresentazione per generare item di difficoltà misurabile in bit, prima che umani o modelli di frontiera riescano a risolverli. Dodici LLM sono stati valutati su una prima batteria certificata, mostrando curve caratteristiche che declinano con la difficoltà fino a una regione di sovraintelligenza non ancora esplorata.

2026-10-15 📰 Fonte
LiquidAI LFM2.5-24-A2B: performance robuste su AMD W7900 per LLM on-premise
📁 LLM AI generated ℹ️ LocalLLaMA

LiquidAI LFM2.5-24-A2B: performance robuste su AMD W7900 per LLM on-premise

Un utente ha condiviso un'esperienza positiva con il modello LiquidAI LFM2.5-24-A2B (24B parametri), evidenziando performance elevate (~95 tps) su GPU AMD W7900. Il modello, che richiede 30GB di VRAM per la quantization Q8 con un contesto di 128k token, si dimostra affidabile per carichi di lavoro locali, suggerendo un potenziale significativo per deployment on-premise e una maggiore diversificazione hardware nell'inference LLM.

2026-10-15 📰 Fonte
Ling-3.1-flash: 560 miliardi di parametri, 25B attivi e contesto da 1 milione di token
📁 LLM AI generated ℹ️ LocalLLaMA

Ling-3.1-flash: 560 miliardi di parametri, 25B attivi e contesto da 1 milione di token

Il modello inclusionAI Ling-3.1-flash appare su Hugging Face con 560 miliardi di parametri totali, 25 miliardi attivi per token e una context window da 1 milione di token. Una configurazione MoE che riduce il costo computazionale per token, ma sposta l'attenzione su memoria, VRAM e gestione della cache KV. Per deployment on-premise, il divario tra parametri totali e attivi impone scelte precise su quantization e distribuzione del carico.

2026-10-14 📰 Fonte
NVIDIA Nemotron Bolt 3.5 74B: MoE in 24 GB grazie alla quantization a 2 bit
📁 LLM AI generated ℹ️ LocalLLaMA

NVIDIA Nemotron Bolt 3.5 74B: MoE in 24 GB grazie alla quantization a 2 bit

NVIDIA annuncia per il 15 ottobre Nemotron Bolt 3.5 74B A9B, un MoE da 74 miliardi di parametri (9 miliardi attivi) compresso in 24 GB con quantization a 2 bit e addestramento consapevole della quantization. L'obiettivo dichiarato è bilanciare velocità e intelligenza: più veloce dei modelli dense più diffusi e più brillante dei MoE con ingombro simile. Il 23 ottobre arriva Nemotron 3.5 Bolt E4B da 4 GB.

2026-10-14 📰 Fonte
Skeleton supera 1 miliardo con Siemens: l'energia diventa il collo di bottiglia AI
📁 Altro AI generated ℹ️ Tech.eu

Skeleton supera 1 miliardo con Siemens: l'energia diventa il collo di bottiglia AI

Siemens investe in Skeleton, portando la valutazione sopra il miliardo. Obiettivo: produzione USA e R&D in Silicon Valley per sistemi di alimentazione che eliminano armoniche e oscillazioni nei cluster GPU, con risparmi energetici fino al 40% e miglioramenti a doppia cifra delle prestazioni. La mossa segna lo spostamento del vincolo dalle GPU all'infrastruttura elettrica.

2026-10-14 📰 Fonte
Open-weight cinesi a 7 mesi dai modelli USA: la trasparenza dei dati conta più del gap
📁 LLM AI generated ℹ️ LocalLLaMA

Open-weight cinesi a 7 mesi dai modelli USA: la trasparenza dei dati conta più del gap

Un leaderboard open source aggrega 22.113 benchmark e mostra che i modelli open-weight cinesi sono a circa sette mesi dai modelli chiusi USA. La metodologia distingue 14.436 valutazioni indipendenti da 7.677 dichiarate dai laboratori. Per chi valuta deployment on-premise, il dato rilevante non è solo il gap prestazionale: open-weight significa possibilità di self-hosted, ma con costi di VRAM, quantization e TCO da valutare.

2026-10-14 📰 Fonte
Apple studia come trasformare i Mac inattivi in una cloud GPU virtuale con 'Minions'
📁 Altro AI generated ℹ️ Tom's Hardware

Apple studia come trasformare i Mac inattivi in una cloud GPU virtuale con 'Minions'

Secondo il titolo della fonte, un gruppo di ricercatori Apple ha lavorato a un progetto chiamato Minions per aggregare Mac inattivi in una cloud GPU virtuale. I dettagli tecnici non sono disponibili, ma l'idea tocca un tema centrale: sfruttare hardware locale già presente per carichi di inference, riducendo la dipendenza da GPU cloud.

2026-10-14 📰 Fonte
51 lab offline per imparare l'AI dai neuroni agli agenti
📁 LLM AI generated ℹ️ LocalLLaMA

51 lab offline per imparare l'AI dai neuroni agli agenti

Un'app offline propone 51 laboratori pratici per capire come funziona l'AI: dai neuroni e la discesa del gradiente fino a RAG, agenti, fine-tuning, quantization e serving. L'attenzione include un piccolo transformer da 1,37 milioni di parametri, mentre i lab di training addestrano modelli a livello di carattere. Niente account né telemetria.

2026-10-14 📰 Fonte
Mesa porta YOLOX su NPU: il driver aperto ridefinisce l'inference locale
📁 OnPremise AI generated ✅ Phoronix

Mesa porta YOLOX su NPU: il driver aperto ridefinisce l'inference locale

Mesa estende il supporto alle NPU e dimostra YOLOX via PyTorch, spostando l'accesso all'accelerazione fuori dai toolchain proprietari. Per edge e on-premise, il driver aperto riduce lock-in e costi di porting, cambiando il calcolo del TCO. AI-Radar legge il segnale strutturale: l'accelerazione AI segue la traiettoria delle GPU, dove il valore si sposta dal semplice accesso hardware all'orchestrazione con framework condivisi e pipeline riproducibili.

2026-10-14 📰 Fonte
Reverse engineering CUDA con AI: il sintomo di un lock-in che pesa sull'on-premise
📁 OnPremise AI generated ℹ️ LocalLLaMA

Reverse engineering CUDA con AI: il sintomo di un lock-in che pesa sull'on-premise

Un post Reddit rilancia l'idea di usare LLM per ricreare CUDA open source e liberare le GPU AMD. Il segnale non è la fattibilità tecnica immediata, ma la tensione strutturale tra controllo dello stack, compatibilità software e TCO nelle infrastrutture self-hosted. Per chi valuta deployment on-premise, il dibattito mostra come la scelta hardware sia inseparabile da ecosistemi, framework e vincoli di migrazione.

2026-10-13 📰 Fonte
Scontrini on-device: il segnale per chi controlla l'inference locale
📁 OnPremise AI generated ℹ️ LocalLLaMA

Scontrini on-device: il segnale per chi controlla l'inference locale

Un modello da 0,8B che legge scontrini sul telefono mostra l'inference on-device come opzione concreta per documenti personali. Il progetto intreccia fine-tuning su dati donati, output JSON e una valvola self-hosted via server OpenAI-compatibile. Il segnale per chi valuta deployment locali è il trade-off tra memoria, qualità dei dati e TCO, con la sovranità come vincolo e non preferenza.

2026-10-12 📰 Fonte
RTX 4090 contraffatte: la falla hardware dell'inference self-hosted
📁 Hardware AI generated ℹ️ LocalLLaMA

RTX 4090 contraffatte: la falla hardware dell'inference self-hosted

La circolazione di RTX 4090 contraffatte, quasi indistinguibili all'ispezione visiva e ai primi test software, trasforma l'acquisto di GPU consumer per LLM on-premise in un rischio strutturale. Il danno non si limita alla sostituzione: include instabilità sotto carico, benchmark inaffidabili e TCO più alto. Per chi punta su self-hosted e sovranità dei dati, la provenienza hardware diventa competenza infrastrutturale, non solo logistica.

2026-10-11 📰 Fonte
GLM 5.3 Flash e Mistral Large 4: il sorpasso che sposta il TCO
📁 Market AI generated ℹ️ LocalLLaMA

GLM 5.3 Flash e Mistral Large 4: il sorpasso che sposta il TCO

Due modelli aperti guidano l'Artificial Analysis Cyber Index e superano ogni singolo modello Anthropic. Il sorpasso non è solo classifica: sposta il calcolo del TCO dai canoni API all'infrastruttura on-premise, riapre il confronto su sovranità dei dati, quantization e gestione delle GPU. AI-RADAR analizza le implicazioni per chi valuta deployment locali, fine-tuning e stack self-hosted, oltre i riflessi su vendor cloud e system integrator.

2026-10-10 📰 Fonte
SAP simula l'azienda: dati sintetici senza schema e il nuovo perimetro sovrano
📁 OnPremise AI generated 🏆 ArXiv cs.AI

SAP simula l'azienda: dati sintetici senza schema e il nuovo perimetro sovrano

Il framework Synthesis Through Simulation di SAP genera dati sintetici aziendali facendo operare un agente LLM contro API che applicano policy simulate, senza accedere agli schemi database. La validità strutturale nasce per costruzione, non per estrazione. Per le infrastrutture self-hosted cambia il calcolo di sovranità e TCO: la pipeline locale dalla simulazione al fine-tuning riduce dipendenza da cloud e approvazioni legali, ma sposta il rischio sulla fedeltà dell'ambiente simulato.

2026-10-09 📰 Fonte
LiteBox: il sandbox locale diventa un tassello per l’AI on-premise
📁 OnPremise AI generated ✅ Phoronix

LiteBox: il sandbox locale diventa un tassello per l’AI on-premise

Microsoft ha pubblicato il primo rilascio taggato di LiteBox, sandbox in Rust per isolare Linux su Linux e Linux su Windows. Il segnale è la maturità: un isolamento più forte dei container, portabile cross-OS, utile per pipeline LLM self-hosted. Riduce la dipendenza da sandbox cloud e rafforza sovranità. Restano da valutare overhead, superficie d'attacco e integrazione operativa.

2026-10-08 📰 Fonte
Guida esterna nei LLM: il bias non si elimina, si calibra
📁 Frameworks AI generated 🏆 ArXiv cs.LG

Guida esterna nei LLM: il bias non si elimina, si calibra

Il framework GA-GRPO formalizza la guida esterna nel fine-tuning di LLM reasoning come un operatore che introduce bias misurabile in base alla divergenza tra guida e policy. La teoria mostra che il bias è inevitabile e cresce nel tempo, ma il peso ottimale della guida diminuisce con l'avanzare dell'addestramento. Un test con Qwen2.5-Math-7B su nove benchmark mostra un risparmio del 31% di GPU-ore, con implicazioni dirette per il TCO dei deployment on-premise e self-hosted.

2026-10-07 📰 Fonte
ROCm 10.1: la cadenza software che riscrive il TCO on-premise
📁 OnPremise AI generated ✅ Phoronix

ROCm 10.1: la cadenza software che riscrive il TCO on-premise

ROCm 10.1 conferma il ciclo di sei settimane di AMD per lo stack GPU. Più delle singole funzionalità, conta la prevedibilità: per i deployment self-hosted riduce il rischio di restare bloccati su versioni vecchie e rende il software parte governabile della pipeline. La maturità dello stack entra nel TCO accanto a VRAM e prestazioni. Restano incognite su compatibilità dei framework, SKU e qualità dei rilasci.

2026-10-06 📰 Fonte
Quando un LLM locale perde il filo: biografie nel refactoring e quantization spinta
📁 OnPremise AI generated ℹ️ LocalLLaMA

Quando un LLM locale perde il filo: biografie nel refactoring e quantization spinta

Un task di refactoring su RTX 5070 Ti con Qwen3.8-27B in quantization IQ3_XXS produce una digressione biografica su Lee Kuan Yew nel reasoning. L'episodio mostra come compressione spinta e velocità possano erodere la coerenza interna, rendendo fragile la tracciabilità nei deployment self-hosted. Per i deployment on-premise, l'attenzione si sposta dai token al secondo alla stabilità dei passaggi intermedi, con implicazioni per pipeline agentiche e supervisione.

2026-10-05 📰 Fonte
Kolibri-1 e il nuovo baricentro dell'AI locale: meno calcolo, più memoria
📁 LLM AI generated ℹ️ LocalLLaMA

Kolibri-1 e il nuovo baricentro dell'AI locale: meno calcolo, più memoria

Aleph Alpha pubblica la scheda di Kolibri-1: 78 miliardi di parametri totali, 3,46 miliardi attivi e contesto da 1 milione di token con licenza Apache 2.0. L'analisi AI-RADAR mostra come il vincolo si sposti dal calcolo alla memoria e alla cache KV, con implicazioni dirette per self-hosted e TCO.

2026-10-04 📰 Fonte
Helion in vLLM: il tuning dei GEMM diventa ricerca, non artigianato GPU
📁 Frameworks AI generated ✅ PyTorch Blog

Helion in vLLM: il tuning dei GEMM diventa ricerca, non artigianato GPU

L'integrazione di Helion nel backend lineare di vLLM mostra che un solo kernel GEMM con autotuner ahead-of-time può coprire varianti specializzate e migliorare l'inference fino al 10% su Qwen3. Per chi gestisce LLM self-hosted, il segnale è duplice: si riduce la dipendenza da competenze CUDA profonde, ma si sposta il costo sul tuning offline e sulla governance delle configurazioni.

2026-10-03 📰 Fonte
BIG-IP Next per Kubernetes: l'efficienza AI si sposta dalla GPU alla rete
📁 OnPremise AI generated ✅ ServeTheHome

BIG-IP Next per Kubernetes: l'efficienza AI si sposta dalla GPU alla rete

Il test F5 su BIG-IP Next for Kubernetes mostra che lo stesso cluster GPU può rendere più del triplo agendo su bilanciamento e instradamento del traffico. Per i deployment on-premise l'efficienza per nodo diventa centrale per il TCO; il rischio è legare l'ottimizzazione a uno stack proprietario. AI-RADAR analizza le implicazioni per chi valuta infrastrutture locali, tra capacità inutilizzata e dipendenza tecnica.

2026-10-02 📰 Fonte
🎬
🎥 VIDEO
📁 General Editoriale

Plants Governed Agents

A demo showing the integration of MachinaOS with MES via Shopfloor-Copilot

2026-10-01
Fine-tuning oltre il testo: DASA trasforma il gradiente nel dataset
📁 LLM AI generated 🏆 ArXiv cs.AI

Fine-tuning oltre il testo: DASA trasforma il gradiente nel dataset

DASA genera embedding sintetici dai gradienti di attivazione di un modello congelato, addestrando LLM senza passare da testo leggibile. I test su Llama e Qwen mostrano prestazioni simili o superiori ai dati testuali, con speedup fino a 4,9 volte rispetto a GRADMM. Per i deployment self-hosted cambia l'equilibrio tra cura dei dati, calcolo, portabilità e audit.

2026-09-30 📰 Fonte
Nemotron 3: il valore si sposta dai pesi all'orchestrazione dell'inference
📁 OnPremise AI generated ℹ️ LocalLLaMA

Nemotron 3: il valore si sposta dai pesi all'orchestrazione dell'inference

Il punteggio di Nemotron 3 alle IOI 2026 non segna solo un primato. Il risultato dichiarato si spiega con GenCorrect, un loop di test-time compute che moltiplica i token per query. Per i deployment on-premise, i pesi aperti e la quantization NVFP4 abbassano la barriera hardware, ma il costo operativo si sposta su VRAM, throughput e TCO. L'analisi di AI-RADAR: perché conta e quali trade-off valutare.

2026-09-29 📰 Fonte
Nvidia spinge i personal AI computer: l'on-premise diventa un formato
📁 OnPremise AI generated ✅ DigiTimes

Nvidia spinge i personal AI computer: l'on-premise diventa un formato

La spinta di Nvidia sui personal AI computer segnala un cambio di baricentro: l'inference LLM si avvicina al dispositivo locale. Non è solo hardware consumer, ma un nodo on-premise in miniatura che tocca VRAM, quantization, TCO e sovranità dei dati. Per i team IT si apre una terza via tra cloud e data center: occorre valutare carichi stabili, vincoli di memoria e complessità operativa.

2026-09-28 📰 Fonte
Snapdragon 8 Elite Gen 6: l'inference locale sposta il perimetro dei dati
📁 Hardware AI generated ✅ ServeTheHome

Snapdragon 8 Elite Gen 6: l'inference locale sposta il perimetro dei dati

Qualcomm presenta due system-on-chip con matrix core nella GPU e supporto LPDDR6. Non è una corsa ai benchmark: è un segnale sul confine della sovranità dei dati, che si sposta nel dispositivo. L'analisi AI-Radar sui vincoli di memoria, Quantization e TCO per chi valuta LLM locali.

2026-09-27 📰 Fonte
Qwengram-0.8B: memoria esterna e gate dinamica cambiano i conti del self-hosted
📁 OnPremise AI generated ℹ️ LocalLLaMA

Qwengram-0.8B: memoria esterna e gate dinamica cambiano i conti del self-hosted

Qwengram-0.8B congela Qwen3.5-0.8B e aggiunge una memoria n-gram da 51 miliardi di parametri fuori dal GGUF. La perplexity scende del 5,05%, ma il dato rilevante è l'architettura: iniezione tardiva governata da una gate per token, sidecar quantizzato Q8_0 e nessun fine-tuning del backbone. Per chi gestisce LLM locali, il segnale è la separazione tra pesi e conoscenza: aggiornare la memoria senza toccare il modello apre scenari nuovi, ma impone vincoli severi ai runtime.

2026-09-26 📰 Fonte
Sicurezza, ad hominem e controllo locale: il vero costo degli LLM addomesticati
📁 LLM AI generated 🏆 ArXiv cs.CL

Sicurezza, ad hominem e controllo locale: il vero costo degli LLM addomesticati

Il fine-tuning di sicurezza non è neutro: riduce lo spazio strategico degli LLM nei dibattiti reali. Per i deployment on-premise conta il controllo dei pesi, delle pipeline e del TCO. L'analisi AI-Radar mette a fuoco il trade-off tra modelli pronti via API e sistemi self-hosted capaci di ridefinire il comportamento conversazionale.

2026-09-25 📰 Fonte
AMD e GDDR7 su Linux: il segnale infrastrutturale per chi fa inference on-premise
📁 Hardware AI generated ℹ️ Tom's Hardware

AMD e GDDR7 su Linux: il segnale infrastrutturale per chi fa inference on-premise

L'avvio del supporto GDDR7 nei driver Linux di AMD segnala un cambiamento per chi gestisce infrastrutture AI on-premise. La notizia, apparentemente tecnica, anticipa l'importanza della banda di memoria per l'inference LLM e riduce l'attrito di integrazione per ambienti self-hosted. Un segnale da leggere in ottica TCO e sovranità dei dati, più che come annuncio di prodotto.

2026-09-24 📰 Fonte
AliceAI 80B: architettura custom e il nodo dei runtime
📁 LLM AI generated ℹ️ LocalLLaMA

AliceAI 80B: architettura custom e il nodo dei runtime

Yandex ha pubblicato un base model da 80 miliardi di parametri con architettura custom e componente attiva ridotta. Non è una fine-tune di Qwen3 e non ha supporto in Llama.cpp: un doppio segnale. AI-RADAR analizza le implicazioni per chi valuta deployment on-premise: maturità dell'ecosistema di inference, costo di porting, proliferazione di architetture. Non è un modello plug-and-play, ma un indicatore di direzione tecnica.

2026-09-22 📰 Fonte
BI-Bench e BI-Agent: il vero divario è nell'orchestrazione dei dati
📁 OnPremise AI generated 🏆 ArXiv cs.LG

BI-Bench e BI-Agent: il vero divario è nell'orchestrazione dei dati

La BI end-to-end rivela un limite strutturale dei LLM: sotto il 50% di accuratezza senza guida umana. Il guadagno vero arriva da architetture che orchestrano strumenti e da post-training su dati proprietari. Per chi valuta on-premise e self-hosted, il TCO si sposta verso GPU, metadati e pipeline, non verso il costo per token.

2026-09-21 📰 Fonte
Von, 395M parametri e solo CPU: cosa cambia per l'inference on-premise
📁 OnPremise AI generated ℹ️ LocalLLaMA

Von, 395M parametri e solo CPU: cosa cambia per l'inference on-premise

Von, un LLM open source da 395 milioni di parametri, gira interamente su CPU con 1-2 GB di memoria e latenze dichiarate tra 25 e 300 ms. Presentato su Reddit come sostituto di JEV, senza ottimizzazione iniziale, riapre il confronto su deployment locali senza GPU. Per AI-RADAR il segnale non è il benchmark, ma il costo di verifica indipendente e la possibilità di self-hosted dentro il perimetro aziendale.

2026-09-20 📰 Fonte
Bonsai 2 Swift e il costo nascosto dei token nel self-hosted
📁 OnPremise AI generated ℹ️ LocalLLaMA

Bonsai 2 Swift e il costo nascosto dei token nel self-hosted

La domanda di UkisAI su Bonsai 2 Swift non riguarda un semplice aggiornamento. Mette in luce come il TCO degli LLM locali dipenda sempre più dal comportamento a runtime: token sprecati, loop di overthinking e scelte di quantization ridefiniscono l'efficienza on-premise.

2026-09-19 📰 Fonte
Il Transformer che amplifica il disaccordo cambia i conti dell'on-premise
📁 OnPremise AI generated 🏆 ArXiv cs.CL

Il Transformer che amplifica il disaccordo cambia i conti dell'on-premise

MDT trasforma la divergenza tra volto, voce e testo nel segnale centrale dell'analisi clinica, raggiungendo 0,7408 Macro F1 sul test BAH e addestrandosi in meno di venti minuti su singola GPU. Per AI-Radar il dato chiave è operativo: un modello che codifica il conflitto con token espliciti sposta l'attenzione su pipeline parallele, VRAM e TCO, rendendo più concreta l'elaborazione locale dei video sensibili.

2026-09-18 📰 Fonte
63 ore di inference autonoma su una RTX 3090: il vero carico è l'orchestrazione
📁 OnPremise AI generated ℹ️ LocalLLaMA

63 ore di inference autonoma su una RTX 3090: il vero carico è l'orchestrazione

Un esperimento con un LLM da 27 miliardi di parametri in quantization a 4 bit su una RTX 3090, per 63 ore, non risolve Riemann ma mostra la tenuta di pipeline agentiche self-hosted. Il valore non è il teorema: è la stabilità di processo, la gestione della memoria e l'ownership dei dati. AI-Radar analizza implicazioni per infrastruttura locale, valutazione e orchestrazione.

2026-09-17 📰 Fonte
← Precedente Page 1 / 2 Successiva →
Vedi Archivio Completo 🗄️

AI-Radar is an independent observatory covering AI models, local LLMs, on-premise deployments, hardware, and emerging trends. We provide daily analysis and editorial coverage for developers, engineers, and organizations exploring local AI solutions.

AI-RADAR badge LaunchTry LAUNCHING SOON ON LaunchTry Fazier badge