AI-RADAR.it
AI-RADAR.IT
News & analisi per LLM locali, stack e hardware on-prem.

AI-Radar - Osservatorio su LLM locali, hardware AI e trend

AI-Radar per LLM on-prem & AI in casa

Il radar quotidiano su modelli, framework e hardware per far girare l'AI in locale. LLM, LangChain, Chroma, mini-PC e tutto ciò che serve per un cervello distribuito "in-house".

⚙️ Stack: LLM locali · LangChain · Transformers · ChromaDB · MiniPC · AI boxes
🛰️ Ask Observatory (Q&A + RAG) già collegato all'archivio articoli.
👥 160+ membri · Iscriviti gratis →
📡

Il Segnale del Giorno

QwenPU, la NPU nei pesi di Qwen che esegue stories260k

QwenPU, la NPU nei pesi di Qwen che esegue stories260k

Un ricercatore ha compilato una NPU nei pesi di Qwen 3.5-4B e ha eseguito stories260k senza runtime esterni. QwenPU ridefinisce il confine tra modello...

📡 Segnale AI 2026-11-01

⚡ In Tendenza

View All →
Inference AI in orbita ed edge estremo LLM per biologia e DNA Incidenti di sicurezza e trasparenza nell'AI Architetture sparse e MoE per un'AI...

🛠️ Guide & Osservatorio On-Premise

🚀 Esegui i modelli in locale → Tutte le guide →

Riferimenti evergreen e pratici per far girare l'AI in locale — hardware, costi, privacy e stack completo.

🖥️ Osservatorio LLM On-Premise Hardware, stack, governance e architetture di riferimento per l'AI in locale. →
⚡ Le migliori GPU per LLM locali 📊 Quanta VRAM per Llama 70B 🧮 KV-cache e memoria di contesto 💰 Quanto costa un LLM in locale 🏎️ Motori di serving a confronto 🧩 Ollama vs LM Studio 🔒 ChatGPT privato per aziende 📉 Quantizzazione LLM spiegata 🇮🇹 LLM on-prem per la PMI italiana ⌨️ Coding assistant locale (VS Code) 💬 Costruisci un chatbot RAG privato 🚀 Esegui i modelli in locale (Qwen, Llama, R1…)

Ultime analisi & news dal radar

Articoli generati dall'AI sulla base dei feed, con spazio per layer editoriale umano sopra il contenuto grezzo.

LocalLLaMA: la rivoluzione dei benchmark privati oltre i token/s
📁 LLM AI generated ℹ️ LocalLLaMA

LocalLLaMA: la rivoluzione dei benchmark privati oltre i token/s

Un utente di r/LocalLLaMA propone di smettere di inseguire i token/s e costruire benchmark privati sulla qualità, soprattutto tra livelli di quantization. L'idea: mantenere privati i dati di test e condividere solo grafici comparativi. È una reazione al rumore crescente da benchmark e alla corsa ai punteggi nell'ecosistema open-weight. L'analisi: la misura della velocità da sola distorce le decisioni di deployment self-hosted.

2026-11-02 📰 Fonte
Il driver RADV mette paletti ai contributi generati con LLM
📁 Hardware AI generated ✅ Phoronix

Il driver RADV mette paletti ai contributi generati con LLM

Il driver Vulkan open-source per GPU AMD Radeon su Linux introduce una policy specifica per i contributi al codice che coinvolgono AI e Large Language Models. Una mossa che sposta l'attenzione dalla sola correttezza del codice alla sua provenienza e al carico di revisione per i maintainer.

2026-11-02 📰 Fonte
Mellum2.1 Thinking con testa MTP: decoding più veloce senza cambiare output
📁 LLM AI generated ℹ️ LocalLLaMA

Mellum2.1 Thinking con testa MTP: decoding più veloce senza cambiare output

Il repository Hugging Face JetBrains/Mellum2.1-12B-A2.5B-Thinking-MTP introduce una testa multi-token prediction integrata che accelera il decoding di 1,4–1,8x accettando circa il 90% dei token proposti. vLLM 0.33, transformers 5.20 e llama.cpp la supportano già. Per chi serve LLM in locale, il vantaggio non è solo la velocità: sparisce la complessità di un draft model separato.

2026-11-02 📰 Fonte
Li²SAO: il cold start del critico nel RL asincrono per gli LLM
📁 LLM AI generated 🏆 ArXiv cs.CL

Li²SAO: il cold start del critico nel RL asincrono per gli LLM

Un nuovo studio analizza GRPO e la variante leggera LiSAO, mostrando un'inversione: GRPO domina nei task di ragionamento, LiSAO nei compiti agentici. Il ritardo iniziale di LiSAO nasce dal modello di valore non ancora addestrato. Per risolverlo, Li²SAO adotta un bootstrapping group-relative per attore e critico, poi passa a GAE single-rollout. Risultato: recupera o supera GRPO nelle prime fasi e alza il limite successivo.

2026-11-02 📰 Fonte
CRAP: un LLM che scrive binari Linux senza compilatore, ma con esclusioni pesanti
📁 LLM AI generated ℹ️ LocalLLaMA

CRAP: un LLM che scrive binari Linux senza compilatore, ma con esclusioni pesanti

Un fine-tuning di Gemma 4 genera direttamente file ELF x86_64 da prompt come 'stampa boop'. I numeri della v1.1 mostrano progressi su multi-turn e stringhe nuove, ma il crollo della quantization da Q6_K a Q4_K_M segnala un limite strutturale per l'inference locale. La demo gira nel browser con WebGPU e carica il GGUF Q6_K da circa 3,6 GiB, senza passare da un server cloud.

2026-11-01 📰 Fonte
Strumento USB open-source sblocca il limite AI a metà velocità di Nvidia su Windows
📁 Hardware AI generated ℹ️ Tom's Hardware

Strumento USB open-source sblocca il limite AI a metà velocità di Nvidia su Windows

Un tool open-source via USB rimuove il limite software che dimezza le prestazioni AI delle GPU Nvidia su Windows. La notizia riapre il dibattito sulla segmentazione artificiale dell'hardware consumer e sulle scelte di chi valuta deployment on-prem per LLM: i vincoli imposti via driver pesano sul TCO e sulla sovranità dei carichi di inference locali.

2026-11-01 📰 Fonte
FineDNA: il più grande dataset per portare il DNA negli LLM
📁 LLM AI generated ℹ️ LocalLLaMA

FineDNA: il più grande dataset per portare il DNA negli LLM

Rilasciati dati, codice e ricetta usati per trasformare Qwen3-14B in Carbon-X, modello aperto specializzato in DNA. Il pacchetto include 300B+ token di midtraining, circa 200K conversazioni SFT e 98K prompt RL verificabili. Per chi lavora con dati genomici in contesti regolati, avere la pipeline completa cambia i termini del deployment: consente di addestrare e mantenere modelli locali senza dipendere da API cloud.

2026-11-01 📰 Fonte
QwenPU, la NPU nei pesi di Qwen che esegue stories260k
📁 OnPremise AI generated ℹ️ LocalLLaMA

QwenPU, la NPU nei pesi di Qwen che esegue stories260k

Un ricercatore ha compilato una NPU nei pesi di Qwen 3.5-4B e ha eseguito stories260k senza runtime esterni. QwenPU ridefinisce il confine tra modello e piattaforma: i pesi diventano substrato computazionale, con implicazioni per deployment self-hosted, audit, distribuzione del software e TCO. AI-Radar analizza i trade-off e i segnali da monitorare.

2026-11-01 📰 Fonte
CrowdGPT 2.6 e il training distribuito che sposta la sfida sulla fiducia
📁 Frameworks AI generated ℹ️ LocalLLaMA

CrowdGPT 2.6 e il training distribuito che sposta la sfida sulla fiducia

Il progetto CrowdGPT rilascia la versione 2.6 e mostra un percorso concreto per addestrare un LLM da un miliardo di parametri su PC distribuiti, senza datacenter. Sei giorni per 4,5 miliardi di token, con controlli bizantini a tre client, firma crittografica per gli aggiornamenti e pipeline collaborativa per i dati. Il punto non è la potenza di calcolo, ma la verifica dell'integrità dei contributi.

2026-10-31 📰 Fonte
Un LLM dentro un LLM: Qwen 3.5-4B esegue stories260k su una NPU nei pesi
📁 LLM AI generated ℹ️ LocalLLaMA

Un LLM dentro un LLM: Qwen 3.5-4B esegue stories260k su una NPU nei pesi

QwenPU compila una NPU nei pesi di Qwen 3.5-4B per eseguire stories260k di Karpathy, senza strumenti esterni e con operazioni bit-exact. Il progetto riapre il confine tra modello e piattaforma di calcolo, con implicazioni per chi gestisce stack self-hosted e sovranità dei dati.

2026-10-31 📰 Fonte
In orbita con quattro TPU, ma accesi uno alla volta per 20 minuti
📁 Hardware AI generated ℹ️ LocalLLaMA

In orbita con quattro TPU, ma accesi uno alla volta per 20 minuti

Il primo satellite data center di Google è operativo: quattro TPU a bordo, fino a 1 kW di generazione elettrica, ma i limiti di potenza permettono di accendere un solo acceleratore per circa 20 minuti. La notizia, ripresa con ironia su Reddit, evidenzia i vincoli reali dell'inference ai margini della rete.

2026-10-31 📰 Fonte
Mage-VL-Cowork: il 4B Microsoft che sposta gli agenti desktop sul dispositivo
📁 LLM AI generated ℹ️ LocalLLaMA

Mage-VL-Cowork: il 4B Microsoft che sposta gli agenti desktop sul dispositivo

Microsoft dimostra che un modello vision-linguaggio da 4 miliardi di parametri può raggiungere il 66% su OSWorld-Verified, usando il 13% in meno di chiamate e il 25,4% in meno di token dopo RL online. Merito di una pipeline di addestramento in cinque fasi e di ambienti sintetici workflow-first. Un segnale per chi punta su agenti autonomi on-device con dati locali e TCO ridotto.

2026-10-31 📰 Fonte
CUDA Oxide 0.3: il supporto Rust per le GPU NVIDIA fa un salto
📁 Frameworks AI generated ✅ Phoronix

CUDA Oxide 0.3: il supporto Rust per le GPU NVIDIA fa un salto

NVIDIA ha rilasciato CUDA Oxide 0.3, l'aggiornamento del compilatore sperimentale da Rust a CUDA. Il progetto punta a scrivere kernel GPU in Rust senza abbandonare l'ecosistema CUDA. Per gli stack on-premise e self-hosted, apre una strada alternativa a C++/CUDA: più sicurezza della memoria, meno confini tra linguaggi e una pipeline di compilazione più uniforme.

2026-10-31 📰 Fonte
Qwen4 120B: il segnale on-premise dietro una pull request
📁 OnPremise AI generated ℹ️ LocalLLaMA

Qwen4 120B: il segnale on-premise dietro una pull request

Un dettaglio in una pull request riaccende il dibattito su una classe di LLM da 120 miliardi di parametri. Per chi gestisce deployment self-hosted, la taglia ridefinisce i calcoli su VRAM, quantization e TCO, senza annunci ufficiali. Il segnale indica una stratificazione dei modelli aperti e nuove pressioni su hardware e conformità.

2026-10-31 📰 Fonte
LRMoE ricalibra il carico di addestramento MoE sui nodi con memoria limitata
📁 Frameworks AI generated 🏆 ArXiv cs.AI

LRMoE ricalibra il carico di addestramento MoE sui nodi con memoria limitata

Un sistema di training per modelli Mixture-of-Experts riduce dal 21,2% al 44,8% il tempo cumulativo sugli strati MoE rispetto a SYMI, intervenendo sulla domanda di memoria nella retropropagazione e sul bilanciamento del lavoro trattenuto. LRMoE pianifica quote e collocamento degli esperti, seleziona le coppie token-esperto utili all'aggiornamento e compatta le comunicazioni, rendendo più efficienti i nodi con poca memoria.

2026-10-31 📰 Fonte
Dartmouth, il rettore anti-imbrogli IA si dimette: Claude usato senza dichiararlo
📁 Altro AI generated ✅ Ars Technica AI

Dartmouth, il rettore anti-imbrogli IA si dimette: Claude usato senza dichiararlo

Il provost di Dartmouth Santiago Schnell aveva scritto un editoriale contro gli inganni con l’IA. Un comitato ha poi scoperto che non ha dichiarato l’uso di Claude in un articolo accademico e nello stesso editoriale. Ha consegnato il portatile istituzionale ma non i log personali, e non ha incontrato il comitato. I registri enterprise mostrano revisione di testi, debug e figure.

2026-10-30 📰 Fonte
Dissenso su LocalLLaMA: benchmark, bias e modelli open-weight
📁 LLM AI generated ℹ️ LocalLLaMA

Dissenso su LocalLLaMA: benchmark, bias e modelli open-weight

Un thread su Reddit mette in discussione le certezze della community self-hosted: ranking open-weight gonfiati, diffidenza verso Haiku 5.5, il frainteso progetto Strata e l'inutilità del benchmark ThreeJS. Per chi valuta deployment on-premise, il dissenso è un segnale: le metriche vanno contestualizzate rispetto a VRAM, quantization e workload reali.

2026-10-30 📰 Fonte
DFlash2 per Qwen3.8-Flash-Next ora gira su llama.cpp: +17% in media
📁 LLM AI generated ℹ️ LocalLLaMA

DFlash2 per Qwen3.8-Flash-Next ora gira su llama.cpp: +17% in media

Con llama.cpp v0.8.0 arriva la compatibilità con DFlash2 per Qwen3.8-Flash-Next. Su Apple Silicon M5 Max i test con GGUFs quantizzate mostrano un guadagno medio del 17% nel throughput di decodifica rispetto a MTP, con picchi del 39% sui prompt a lista e una regressione minima sulla prosa. La testa Q4_0 pesa circa 350 MB contro 2,2 GB della testa MTP, ma il buffer di calcolo annulla il risparmio di VRAM. Anche i prompt con immagini funzionano.

2026-10-30 📰 Fonte
Il primo satellite data center di Google è online e scrive poesie
📁 Hardware AI generated ✅ TechCrunch AI

Il primo satellite data center di Google è online e scrive poesie

Google ha portato online il primo satellite data center, con a bordo il primo TPU nello spazio e un modello Gemma 4 di Google DeepMind che scrive poesie. L'esperimento dimostra che l'inference LLM può funzionare in un ambiente remoto, vincolato e autonomo. Per chi valuta deployment on-premise o edge, il satellite è un caso estremo che mette alla prova hardware e pipeline senza dipendere dal cloud.

2026-10-30 📰 Fonte
SenseNova-Loop-9B: il decoder che gira due volte per contesti lunghi
📁 LLM AI generated ℹ️ LocalLLaMA

SenseNova-Loop-9B: il decoder che gira due volte per contesti lunghi

SenseNova porta su Hugging Face un LLM multimodale con decoder a blocchi riutilizzati e attenzione ibrida. Con 24 layer eseguiti due volte e 56 esecuzioni da 32 layer distinti, punta a carichi agentici e documenti fino a 256K token. L'approccio riduce i parametri ma non il calcolo, un segnale per chi valida infrastrutture self-hosted.

2026-10-30 📰 Fonte
PsiQuantum porta la fotonica nelle reti GPU: switch ottico 8x8 con meno perdite
📁 Hardware AI generated ℹ️ Tom's Hardware

PsiQuantum porta la fotonica nelle reti GPU: switch ottico 8x8 con meno perdite

PsiQuantum ha realizzato un prototipo di switch ottico 8x8 per le reti GPU dei data center AI. L'azienda sfrutta le competenze fotoniche e dichiara perdite di luce inferiori rispetto alle soluzioni rivali, con piani per dispositivi più grandi. Il progetto segnala il ruolo crescente dell'interconnessione ottica per superare i colli di bottiglia tra acceleratori.

2026-10-30 📰 Fonte
Un altro OS generato dall'AI: chiuso in nome della sicurezza
📁 Altro AI generated ✅ Phoronix

Un altro OS generato dall'AI: chiuso in nome della sicurezza

Un nuovo sistema operativo generato quasi interamente da agenti AI è arrivato in redazione. A differenza della maggior parte di questi progetti, open-source, questo si presenta chiuso in nome della sicurezza. La notizia accende il dibattito su audit, provenienza del codice e fiducia nei componenti critici generati da LLM: per chi valuta deployment on-premise, la chiusura sposta l'onere della prova.

2026-10-30 📰 Fonte
Nvidia e Hugging Face: il vero collo di bottiglia diventa la distribuzione
📁 OnPremise AI generated ℹ️ Tom's Hardware

Nvidia e Hugging Face: il vero collo di bottiglia diventa la distribuzione

L'istruttoria del Dipartimento di Giustizia sull'eventuale acquisizione di Hugging Face da parte di Nvidia segnala uno spostamento del controllo dall'hardware alla distribuzione dei modelli. Per chi gestisce LLM self-hosted, la posta in gioco è la neutralità di repository, framework e pratiche di fine-tuning, con effetti su interoperabilità, TCO e sovranità dei dati.

2026-10-30 📰 Fonte
Qwen4 e il contesto da un milione di token: il conto si paga in VRAM
📁 OnPremise AI generated ℹ️ LocalLLaMA

Qwen4 e il contesto da un milione di token: il conto si paga in VRAM

La pull request in qwen-code segnala che Qwen4 punta a una finestra da un milione di token. Per chi fa inference self-hosted il costo non è teorico: la cache chiave-valore cresce con i token e satura la VRAM insieme ai pesi. Qwen4-27B rende probabili setup multi-GPU o quantization aggressiva. Il vantaggio per l'analisi di repository è reale, ma cambia TCO, benchmark e divario tra data center ed edge.

2026-10-29 📰 Fonte
LFM3: meno token, più decisioni, l'inference locale cambia unità di misura
📁 OnPremise AI generated ℹ️ LocalLLaMA

LFM3: meno token, più decisioni, l'inference locale cambia unità di misura

Liquid AI ha presentato LFM3, famiglia di modelli compatti da 1,7–2,2 miliardi di parametri con architettura tri-hybrid e supporto llama.cpp. I decision model saltano la generazione di token e restituiscono risposte in un singolo forward pass. Per chi fa deployment on-premise e self-hosted, l'attenzione si sposta da costi per token a latenza, footprint e controllo dei dati.

2026-10-28 📰 Fonte
Nanbeige4.3-33B: il docente che prepara i modelli compatti
📁 OnPremise AI generated ℹ️ LocalLLaMA

Nanbeige4.3-33B: il docente che prepara i modelli compatti

Nanbeige4.3-33B non è solo un benchmark: è un insegnante per una pipeline di distillation. Per chi gestisce inference self-hosted, il segnale è chiaro: il costo si sposta dal deployment alla fase di distillazione. Il 3B potrà girare su hardware modesto, ma il docente richiede risorse. La sovranità dei dati passa dalla capacità di distillare on-premise.

2026-10-26 📰 Fonte
DeepSeek-V4.1 GSQ-RCO: quantization pronta, runtime in ritardo
📁 OnPremise AI generated ℹ️ LocalLLaMA

DeepSeek-V4.1 GSQ-RCO: quantization pronta, runtime in ritardo

Il rilascio dei quanti GGUF di DeepSeek-V4.1-Flash-1017 a cura di ISTA-DASLab non è solo una novità di quantization. Mette in luce il vero freno del deployment locale: l'integrazione con i runtime. Con llama.cpp ancora senza supporto ufficiale e il rimando a fork come Xolotl o Maya, chi sceglie l'on-premise deve valutare compatibilità, TCO e manutenzione. La disponibilità dei file non basta: serve un runtime capace di eseguirli.

2026-10-25 📰 Fonte
WebGL2 e LLM nel browser: il debito nascosto della tokenizzazione
📁 OnPremise AI generated ℹ️ LocalLLaMA

WebGL2 e LLM nel browser: il debito nascosto della tokenizzazione

Un esperimento con un LLM GGUF Q4 in WebGL2 si infrange sulla tokenizzazione, non sull'algebra lineare. Il consiglio di clonare llama.cpp segnala che nei deployment locali e self-hosted il differenziale non sta nel motore, ma nell'integrazione con dati e processi. Il browser è una frontiera reale per la sovranità, ma richiede runtime maturi e una prospettiva di TCO.

2026-10-24 📰 Fonte
RAG modulare: un LoRA che decide quando fermarsi e chiedere
📁 OnPremise AI generated 🏆 ArXiv cs.AI

RAG modulare: un LoRA che decide quando fermarsi e chiedere

IBM Research pubblica ClariEdge, un dataset di circa 3.900 esempi per riconoscere le query ambigue nella RAG. Un LoRA leggero ottenuto con fine-tuning raggiunge il 96,6% di accuratezza e supera baseline più grandi. Il segnale: componenti specializzati e locali possono filtrare prima e dopo il retrieval, riducendo esposizione dei dati e consumo di token. Restano i costi di curatela degli hard negative e il monitoraggio fuori distribuzione.

2026-10-23 📰 Fonte
Ternario e solo CPU: il TTS locale ridisegna il TCO
📁 OnPremise AI generated ℹ️ LocalLLaMA

Ternario e solo CPU: il TTS locale ridisegna il TCO

Kitten-TTS 2 introduce la quantization ternaria a 1,58 bit in un modello da 1,7 miliardi di parametri che gira in tempo reale su CPU. Il self-hosting diventa realistico senza GPU, spostando il TCO dalla VRAM alla qualità del software di esecuzione. Per le aziende con vincoli di sovranità dei dati, la pipeline vocale può restare interamente locale. Il segnale: la compressione spinta diventa scelta architetturale pratica.

2026-10-22 📰 Fonte
Cina, 35 miliardi in GPU Nvidia: il canale self-hosted rischia l'effetto domino
📁 OnPremise AI generated ℹ️ LocalLLaMA

Cina, 35 miliardi in GPU Nvidia: il canale self-hosted rischia l'effetto domino

Le indiscrezioni su ordini cinesi di GPU Nvidia per oltre 35 miliardi di dollari segnalano una riallocazione del canale hardware. Per chi esegue LLM in locale, l'effetto non è solo prezzo: è disponibilità, potere negoziale e sovranità dei dati. L'analisi AI-Radar sui trade-off per deployment self-hosted.

2026-10-21 📰 Fonte
Cohere porta North su llama.cpp: il self-hosting entra nella strategia
📁 OnPremise AI generated ℹ️ LocalLLaMA

Cohere porta North su llama.cpp: il self-hosting entra nella strategia

Con North Micro Vision su llama.cpp e Transcribe in Unsloth, Cohere normalizza l'inference locale e il fine-tuning su dati propri. Il segnale sposta il TCO: il costo marginale dell'hardware dedicato può divergere dal costo per token delle API. Restano da chiarire VRAM e livelli di quantization, ma per i modelli Cohere il self-hosting non è più un ripiego.

2026-10-20 📰 Fonte
Una Radeon da 16 GB esegue un LLM da 27B con 262k token: il segnale
📁 OnPremise AI generated ℹ️ LocalLLaMA

Una Radeon da 16 GB esegue un LLM da 27B con 262k token: il segnale

Un homelab, non un vendor, ha documentato un LLM da 27 miliardi di parametri con 262.000 token di contesto su una singola Radeon RX 9060 XT da 16 GB di VRAM, usando quantization, streaming della cache KV e fix software. Il segnale: il costo d'ingresso per self-hosted ad alto contesto si sposta dalle GPU alla gestione del compromesso memoria-precisione-throughput. Resta il costo nascosto di integrazione e supporto.

2026-10-18 📰 Fonte
Il 4B BF16 di NVIDIA e il conto della VRAM nell'inference locale
📁 OnPremise AI generated ℹ️ LocalLLaMA

Il 4B BF16 di NVIDIA e il conto della VRAM nell'inference locale

La pubblicazione di Dory1.0-4B-BF16 mostra come la precisione BF16 ridefinisca il deployment locale. Non è solo un modello piccolo: circa 8 GB di pesi spostano l'attenzione su VRAM, TCO e quantization. Per team con workstation e piccoli server, il segnale è chiaro: cresce la fascia intermedia tra cloud ed edge, con implicazioni per vendor GPU e fornitori cloud. Un'analisi del trade-off tra controllo e infrastruttura.

2026-10-17 📰 Fonte
Muse Spark Open: il segnale vero è nei kernel portatili, non nei 816B
📁 OnPremise AI generated ✅ PyTorch Blog

Muse Spark Open: il segnale vero è nei kernel portatili, non nei 816B

Meta ha aperto i pesi di Muse Spark Open, ma il punto non è solo la scala: Helion, DSL nativo PyTorch per kernel portatili, e il supporto TorchTitan per fine-tuning spostano il confronto su controllo hardware, TCO e self-hosting. Analisi di secondo e terzo ordine.

2026-10-16 📰 Fonte
AMD W7900 e LFM2.5: il segnale di un on-premise sempre più concreto
📁 Hardware AI generated ℹ️ LocalLLaMA

AMD W7900 e LFM2.5: il segnale di un on-premise sempre più concreto

La prova di un LLM da 24 miliardi di parametri su AMD W7900, con contesto da 128.000 token e circa 95 token al secondo, segnala che l'inference on-premise si consolida anche fuori dall'ecosistema NVIDIA. L'analisi di AI-Radar esplora trade-off, sovranità dei dati e TCO.

2026-10-15 📰 Fonte
Mesa porta YOLOX su NPU: il driver aperto ridefinisce l'inference locale
📁 OnPremise AI generated ✅ Phoronix

Mesa porta YOLOX su NPU: il driver aperto ridefinisce l'inference locale

Mesa estende il supporto alle NPU e dimostra YOLOX via PyTorch, spostando l'accesso all'accelerazione fuori dai toolchain proprietari. Per edge e on-premise, il driver aperto riduce lock-in e costi di porting, cambiando il calcolo del TCO. AI-Radar legge il segnale strutturale: l'accelerazione AI segue la traiettoria delle GPU, dove il valore si sposta dal semplice accesso hardware all'orchestrazione con framework condivisi e pipeline riproducibili.

2026-10-14 📰 Fonte
Reverse engineering CUDA con AI: il sintomo di un lock-in che pesa sull'on-premise
📁 OnPremise AI generated ℹ️ LocalLLaMA

Reverse engineering CUDA con AI: il sintomo di un lock-in che pesa sull'on-premise

Un post Reddit rilancia l'idea di usare LLM per ricreare CUDA open source e liberare le GPU AMD. Il segnale non è la fattibilità tecnica immediata, ma la tensione strutturale tra controllo dello stack, compatibilità software e TCO nelle infrastrutture self-hosted. Per chi valuta deployment on-premise, il dibattito mostra come la scelta hardware sia inseparabile da ecosistemi, framework e vincoli di migrazione.

2026-10-13 📰 Fonte
Scontrini on-device: il segnale per chi controlla l'inference locale
📁 OnPremise AI generated ℹ️ LocalLLaMA

Scontrini on-device: il segnale per chi controlla l'inference locale

Un modello da 0,8B che legge scontrini sul telefono mostra l'inference on-device come opzione concreta per documenti personali. Il progetto intreccia fine-tuning su dati donati, output JSON e una valvola self-hosted via server OpenAI-compatibile. Il segnale per chi valuta deployment locali è il trade-off tra memoria, qualità dei dati e TCO, con la sovranità come vincolo e non preferenza.

2026-10-12 📰 Fonte
RTX 4090 contraffatte: la falla hardware dell'inference self-hosted
📁 Hardware AI generated ℹ️ LocalLLaMA

RTX 4090 contraffatte: la falla hardware dell'inference self-hosted

La circolazione di RTX 4090 contraffatte, quasi indistinguibili all'ispezione visiva e ai primi test software, trasforma l'acquisto di GPU consumer per LLM on-premise in un rischio strutturale. Il danno non si limita alla sostituzione: include instabilità sotto carico, benchmark inaffidabili e TCO più alto. Per chi punta su self-hosted e sovranità dei dati, la provenienza hardware diventa competenza infrastrutturale, non solo logistica.

2026-10-11 📰 Fonte
GLM 5.3 Flash e Mistral Large 4: il sorpasso che sposta il TCO
📁 Market AI generated ℹ️ LocalLLaMA

GLM 5.3 Flash e Mistral Large 4: il sorpasso che sposta il TCO

Due modelli aperti guidano l'Artificial Analysis Cyber Index e superano ogni singolo modello Anthropic. Il sorpasso non è solo classifica: sposta il calcolo del TCO dai canoni API all'infrastruttura on-premise, riapre il confronto su sovranità dei dati, quantization e gestione delle GPU. AI-RADAR analizza le implicazioni per chi valuta deployment locali, fine-tuning e stack self-hosted, oltre i riflessi su vendor cloud e system integrator.

2026-10-10 📰 Fonte
SAP simula l'azienda: dati sintetici senza schema e il nuovo perimetro sovrano
📁 OnPremise AI generated 🏆 ArXiv cs.AI

SAP simula l'azienda: dati sintetici senza schema e il nuovo perimetro sovrano

Il framework Synthesis Through Simulation di SAP genera dati sintetici aziendali facendo operare un agente LLM contro API che applicano policy simulate, senza accedere agli schemi database. La validità strutturale nasce per costruzione, non per estrazione. Per le infrastrutture self-hosted cambia il calcolo di sovranità e TCO: la pipeline locale dalla simulazione al fine-tuning riduce dipendenza da cloud e approvazioni legali, ma sposta il rischio sulla fedeltà dell'ambiente simulato.

2026-10-09 📰 Fonte
LiteBox: il sandbox locale diventa un tassello per l’AI on-premise
📁 OnPremise AI generated ✅ Phoronix

LiteBox: il sandbox locale diventa un tassello per l’AI on-premise

Microsoft ha pubblicato il primo rilascio taggato di LiteBox, sandbox in Rust per isolare Linux su Linux e Linux su Windows. Il segnale è la maturità: un isolamento più forte dei container, portabile cross-OS, utile per pipeline LLM self-hosted. Riduce la dipendenza da sandbox cloud e rafforza sovranità. Restano da valutare overhead, superficie d'attacco e integrazione operativa.

2026-10-08 📰 Fonte
Guida esterna nei LLM: il bias non si elimina, si calibra
📁 Frameworks AI generated 🏆 ArXiv cs.LG

Guida esterna nei LLM: il bias non si elimina, si calibra

Il framework GA-GRPO formalizza la guida esterna nel fine-tuning di LLM reasoning come un operatore che introduce bias misurabile in base alla divergenza tra guida e policy. La teoria mostra che il bias è inevitabile e cresce nel tempo, ma il peso ottimale della guida diminuisce con l'avanzare dell'addestramento. Un test con Qwen2.5-Math-7B su nove benchmark mostra un risparmio del 31% di GPU-ore, con implicazioni dirette per il TCO dei deployment on-premise e self-hosted.

2026-10-07 📰 Fonte
ROCm 10.1: la cadenza software che riscrive il TCO on-premise
📁 OnPremise AI generated ✅ Phoronix

ROCm 10.1: la cadenza software che riscrive il TCO on-premise

ROCm 10.1 conferma il ciclo di sei settimane di AMD per lo stack GPU. Più delle singole funzionalità, conta la prevedibilità: per i deployment self-hosted riduce il rischio di restare bloccati su versioni vecchie e rende il software parte governabile della pipeline. La maturità dello stack entra nel TCO accanto a VRAM e prestazioni. Restano incognite su compatibilità dei framework, SKU e qualità dei rilasci.

2026-10-06 📰 Fonte
Quando un LLM locale perde il filo: biografie nel refactoring e quantization spinta
📁 OnPremise AI generated ℹ️ LocalLLaMA

Quando un LLM locale perde il filo: biografie nel refactoring e quantization spinta

Un task di refactoring su RTX 5070 Ti con Qwen3.8-27B in quantization IQ3_XXS produce una digressione biografica su Lee Kuan Yew nel reasoning. L'episodio mostra come compressione spinta e velocità possano erodere la coerenza interna, rendendo fragile la tracciabilità nei deployment self-hosted. Per i deployment on-premise, l'attenzione si sposta dai token al secondo alla stabilità dei passaggi intermedi, con implicazioni per pipeline agentiche e supervisione.

2026-10-05 📰 Fonte
Kolibri-1 e il nuovo baricentro dell'AI locale: meno calcolo, più memoria
📁 LLM AI generated ℹ️ LocalLLaMA

Kolibri-1 e il nuovo baricentro dell'AI locale: meno calcolo, più memoria

Aleph Alpha pubblica la scheda di Kolibri-1: 78 miliardi di parametri totali, 3,46 miliardi attivi e contesto da 1 milione di token con licenza Apache 2.0. L'analisi AI-RADAR mostra come il vincolo si sposti dal calcolo alla memoria e alla cache KV, con implicazioni dirette per self-hosted e TCO.

2026-10-04 📰 Fonte
Helion in vLLM: il tuning dei GEMM diventa ricerca, non artigianato GPU
📁 Frameworks AI generated ✅ PyTorch Blog

Helion in vLLM: il tuning dei GEMM diventa ricerca, non artigianato GPU

L'integrazione di Helion nel backend lineare di vLLM mostra che un solo kernel GEMM con autotuner ahead-of-time può coprire varianti specializzate e migliorare l'inference fino al 10% su Qwen3. Per chi gestisce LLM self-hosted, il segnale è duplice: si riduce la dipendenza da competenze CUDA profonde, ma si sposta il costo sul tuning offline e sulla governance delle configurazioni.

2026-10-03 📰 Fonte
BIG-IP Next per Kubernetes: l'efficienza AI si sposta dalla GPU alla rete
📁 OnPremise AI generated ✅ ServeTheHome

BIG-IP Next per Kubernetes: l'efficienza AI si sposta dalla GPU alla rete

Il test F5 su BIG-IP Next for Kubernetes mostra che lo stesso cluster GPU può rendere più del triplo agendo su bilanciamento e instradamento del traffico. Per i deployment on-premise l'efficienza per nodo diventa centrale per il TCO; il rischio è legare l'ottimizzazione a uno stack proprietario. AI-RADAR analizza le implicazioni per chi valuta infrastrutture locali, tra capacità inutilizzata e dipendenza tecnica.

2026-10-02 📰 Fonte
🎬
🎥 VIDEO
📁 General Editoriale

Plants Governed Agents

A demo showing the integration of MachinaOS with MES via Shopfloor-Copilot

2026-10-01
Fine-tuning oltre il testo: DASA trasforma il gradiente nel dataset
📁 LLM AI generated 🏆 ArXiv cs.AI

Fine-tuning oltre il testo: DASA trasforma il gradiente nel dataset

DASA genera embedding sintetici dai gradienti di attivazione di un modello congelato, addestrando LLM senza passare da testo leggibile. I test su Llama e Qwen mostrano prestazioni simili o superiori ai dati testuali, con speedup fino a 4,9 volte rispetto a GRADMM. Per i deployment self-hosted cambia l'equilibrio tra cura dei dati, calcolo, portabilità e audit.

2026-09-30 📰 Fonte
Nemotron 3: il valore si sposta dai pesi all'orchestrazione dell'inference
📁 OnPremise AI generated ℹ️ LocalLLaMA

Nemotron 3: il valore si sposta dai pesi all'orchestrazione dell'inference

Il punteggio di Nemotron 3 alle IOI 2026 non segna solo un primato. Il risultato dichiarato si spiega con GenCorrect, un loop di test-time compute che moltiplica i token per query. Per i deployment on-premise, i pesi aperti e la quantization NVFP4 abbassano la barriera hardware, ma il costo operativo si sposta su VRAM, throughput e TCO. L'analisi di AI-RADAR: perché conta e quali trade-off valutare.

2026-09-29 📰 Fonte
Nvidia spinge i personal AI computer: l'on-premise diventa un formato
📁 OnPremise AI generated ✅ DigiTimes

Nvidia spinge i personal AI computer: l'on-premise diventa un formato

La spinta di Nvidia sui personal AI computer segnala un cambio di baricentro: l'inference LLM si avvicina al dispositivo locale. Non è solo hardware consumer, ma un nodo on-premise in miniatura che tocca VRAM, quantization, TCO e sovranità dei dati. Per i team IT si apre una terza via tra cloud e data center: occorre valutare carichi stabili, vincoli di memoria e complessità operativa.

2026-09-28 📰 Fonte
Snapdragon 8 Elite Gen 6: l'inference locale sposta il perimetro dei dati
📁 Hardware AI generated ✅ ServeTheHome

Snapdragon 8 Elite Gen 6: l'inference locale sposta il perimetro dei dati

Qualcomm presenta due system-on-chip con matrix core nella GPU e supporto LPDDR6. Non è una corsa ai benchmark: è un segnale sul confine della sovranità dei dati, che si sposta nel dispositivo. L'analisi AI-Radar sui vincoli di memoria, Quantization e TCO per chi valuta LLM locali.

2026-09-27 📰 Fonte
← Precedente Page 1 / 2 Successiva →
Vedi Archivio Completo 🗄️

AI-Radar is an independent observatory covering AI models, local LLMs, on-premise deployments, hardware, and emerging trends. We provide daily analysis and editorial coverage for developers, engineers, and organizations exploring local AI solutions.

AI-RADAR badge LaunchTry LAUNCHING SOON ON LaunchTry Fazier badge