AI-Radar - Osservatorio su LLM locali, hardware AI e trend

AI-Radar per LLM on-prem & AI in casa

Il radar quotidiano su modelli, framework e hardware per far girare l'AI in locale. LLM, LangChain, Chroma, mini-PC e tutto ciò che serve per un cervello distribuito "in-house".

⚙️ Stack: LLM locali · LangChain · Transformers · ChromaDB · MiniPC · AI boxes

🛰️ Ask Observatory (Q&A + RAG) già collegato all'archivio articoli.

👥 160+ membri · Iscriviti gratis →

📡

Il Segnale del Giorno

Qwen4 e il contesto da un milione di token: il conto si paga in VRAM

La pull request in qwen-code segnala che Qwen4 punta a una finestra da un milione di token. Per chi fa inference self-hosted il costo non è teorico: l...

📡 Segnale AI 2026-10-29

⚡ In Tendenza

View All →

📊 Statistiche

Archivio Totale

Articoli indicizzati nel sistema RAG

Categorie

📡 RSS Feed

🛠️ Guide & Osservatorio On-Premise

🚀 Esegui i modelli in locale → Tutte le guide →

Riferimenti evergreen e pratici per far girare l'AI in locale — hardware, costi, privacy e stack completo.

🖥️ Osservatorio LLM On-Premise Hardware, stack, governance e architetture di riferimento per l'AI in locale. →

⚡ Le migliori GPU per LLM locali 📊 Quanta VRAM per Llama 70B 🧮 KV-cache e memoria di contesto 💰 Quanto costa un LLM in locale 🏎️ Motori di serving a confronto 🧩 Ollama vs LM Studio 🔒 ChatGPT privato per aziende 📉 Quantizzazione LLM spiegata 🇮🇹 LLM on-prem per la PMI italiana ⌨️ Coding assistant locale (VS Code) 💬 Costruisci un chatbot RAG privato 🚀 Esegui i modelli in locale (Qwen, Llama, R1…)

Ultime analisi & news dal radar

Articoli generati dall'AI sulla base dei feed, con spazio per layer editoriale umano sopra il contenuto grezzo.

📁 LLM AI generated ℹ️ LocalLLaMA

LIMe riduce del 15% il calcolo per addestrare LLM senza cali di qualità

A EMNLP 2026, un team di T-Tech ha mostrato LIMe, un'estensione dell'attenzione che riusa i buffer key-value degli strati precedenti. Nei test con modelli da circa un miliardo di parametri, il training raggiunge la stessa loss di LLaMA usando il 15% di calcolo in meno, con vantaggi su reasoning e compiti aritmetici.

2026-10-29 📰 Fonte

📁 Market AI generated ✅ DigiTimes

Nvidia finisce sotto esame negli USA per l'acquisizione di Hugging Face

L'operazione che porta Nvidia a rilevare Hugging Face è al centro di un'indagine della giustizia statunitense. Per chi lavora con LLM on-premise, la notizia tocca un punto delicato: il controllo congiunto di hardware e repository di modelli può ridisegnare gli equilibri del deployment locale.

2026-10-29 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Qwen4 e il contesto da un milione di token: il conto si paga in VRAM

La pull request in qwen-code segnala che Qwen4 punta a una finestra da un milione di token. Per chi fa inference self-hosted il costo non è teorico: la cache chiave-valore cresce con i token e satura la VRAM insieme ai pesi. Qwen4-27B rende probabili setup multi-GPU o quantization aggressiva. Il vantaggio per l'analisi di repository è reale, ma cambia TCO, benchmark e divario tra data center ed edge.

2026-10-29 📰 Fonte

📁 LLM AI generated ℹ️ LocalLLaMA

Qwen4 e il contesto da un milione di token: il vero nodo è la VRAM

Alibaba porta Qwen4 a un milione di token di contesto. La notizia emerge da una pull request in qwen-code: Qwen4-27B atteso domani all'evento Apsara nei Paesi Bassi, Qwen4-max datato 1° novembre con possibile placeholder al 1° ottobre. L'analisi si concentra sul costo in VRAM per chi esegue modelli in locale e sulle conseguenze per TCO e pipeline di fine-tuning.

2026-10-29 📰 Fonte

📁 Hardware AI generated ℹ️ LocalLLaMA

Su eBay un supercomputer AI da 60 milioni: 9.600 GPU A100 e spedizione inclusa

Un vendor IT ha pubblicato su eBay un supercomputer AI usato da 60 milioni di dollari: 9.600 GPU Nvidia A100, 4.200 CPU AMD EPYC e 300 rack dismessi, spedizione inclusa. L'annuncio mostra come il ciclo di vita dell'hardware AI stia alimentando un mercato secondario rilevante per chi valuta deployment on-premise, tra sconti possibili e rischi operativi da non sottovalutare.

2026-10-28 📰 Fonte

📁 LLM AI generated ℹ️ LocalLLaMA

Clover-35B-A3B-Preview: DiffuSpace punta su MoE e diffusione

DiffuSpace ha rilasciato Clover-35B-A3B-Preview, un modello a diffusione open source con backbone MoE da 35 miliardi di parametri e circa 3 miliardi di parametri attivi per token. Finestra di contesto da 128K token. Per il deployment on-premise contano più i parametri attivi che quelli totali.

2026-10-28 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

LFM3: meno token, più decisioni, l'inference locale cambia unità di misura

Liquid AI ha presentato LFM3, famiglia di modelli compatti da 1,7–2,2 miliardi di parametri con architettura tri-hybrid e supporto llama.cpp. I decision model saltano la generazione di token e restituiscono risposte in un singolo forward pass. Per chi fa deployment on-premise e self-hosted, l'attenzione si sposta da costi per token a latenza, footprint e controllo dei dati.

2026-10-28 📰 Fonte

📁 LLM AI generated 🏆 ArXiv cs.CL

MedJev: decisioni cliniche zero-shot su un laptop, con calibrazione locale

Un modello System One open source gira su un laptop e ottiene risultati vicini a GPT-4 su benchmark medici, con calibrazione ben controllata nei test di conoscenza ma meno affidabile sulle predizioni a livello paziente. Un metodo di ricalibrazione a due parametri, con 50-200 esempi etichettati, riduce l'errore di calibrazione. Il lavoro segnala una via locale per la decisione clinica zero-shot.

2026-10-28 📰 Fonte

📁 LLM AI generated 🏆 ArXiv cs.CL

ReCoPII: un framework per mascherare PII contestuali senza assumere un unico soggetto

Il framework ReCoPII costruisce dataset di mascheramento PII contestuale senza la premessa dell'augmentation basata su un unico autore. Su documenti coreani di sei domini, le etichette KEEP raggiungono l'88,42% di accordo tra annotatori, contro il 26,27% dell'approccio SPY. Classificatori addestrati su ReCoPII-Ko riducono l'over-masking; il detector compatto, con circa un quarto dei parametri di XLM-R-large, contiene la perdita entro il 4,18%.

2026-10-28 📰 Fonte

📁 Frameworks AI generated 🏆 ArXiv cs.LG

Self-evolution degli agenti: le skill vanno adattate al modello

Uno studio su sette modelli e tre benchmark mostra che le skill degli agenti LLM non sono universali: ciò che migliora un modello forte può degradare uno debole. Nell'86% dei fallimenti dei modelli deboli il requisito violato era già nella skill. L'adattamento guidato da una meta-skill migliora i punteggi da 5,1 a 14,1 punti su tre esecutori deboli e da 2,0 a 5,1 punti su sette esecutori in un loop di self-evolution.

2026-10-28 📰 Fonte

📁 Market AI generated ✅ DigiTimes

Costi del cloud spingono l'on-premise: scorte Asus RTX Spark sotto pressione

La domanda di infrastrutture AI locali cresce mentre i costi del cloud pesano sui bilanci. Il nodo delle forniture si stringe attorno alla Asus RTX Spark, segnale di un mercato che sposta risorse verso l'on-premise. Il fenomeno evidenzia pressioni su hardware, tempi di approvvigionamento e scelte di deployment.

2026-10-28 📰 Fonte

📁 LLM AI generated ℹ️ LocalLLaMA

Liquid AI lancia LFM3: modelli compatti per l'AI on-device e decisioni immediate

Liquid AI ha presentato una famiglia di modelli da 1,7 a 2,2 miliardi di parametri, progettati per girare su telefono, laptop e dispositivi edge. Oltre al testo, arrivano versioni multimodali e modelli di decisione che rispondono in un singolo passaggio. Il filo conduttore è la specializzazione: fine-tuning su singola GPU, context window da 256K token e quantization a 4 bit, con l'obiettivo di ridurre il footprint hardware e mantenere i dati in locale.

2026-10-27 📰 Fonte

📁 Frameworks AI generated ✅ Ars Technica AI

Progettare proteine a colpi di prompt: arriva il vibe coding della biologia

Ricercatori cinesi presentano uno strumento che usa prompt in linguaggio naturale per generare proteine; Hugging Face ospita un tool analogo a livello di DNA. Il tasso di successo non è garantito: serve un laboratorio per separare i progetti validi dai tentativi falliti. L'analogia con il vibe coding sposta il collo di bottiglia dalla conoscenza strutturale alla capacità di validazione sperimentale.

2026-10-27 📰 Fonte

📁 LLM AI generated ℹ️ LocalLLaMA

Ling-3.1-flash-1019: pesi e base model BF16 per il fine-tuning autonomo

Il checkpoint 1019 di Ling-3.1-flash è ora su Hugging Face insieme al base model in BF16. Restano 560 miliardi di parametri totali, 25 miliardi attivi e una context window da un milione di token. L'aggiornamento porta l'AA Intelligence Index da 41 a 44 e AutomationBench-AA dal 62% al 68%. Il base model è pensato per chi vuole fare post-training senza ripartire dal modello chat già rifinito.

2026-10-27 📰 Fonte

📁 LLM AI generated ℹ️ LocalLLaMA

Ling-3.1-flash-1019: l’architettura sparsa che cambia i conti dell’inference

inclusionAI aggiorna Ling-3.1-flash: 560B parametri totali, 25B attivi per token e finestra di contesto da 1M token. Migliorano i benchmark agentici e scientifici. Il checkpoint base viene aperto alla ricerca. L'articolo analizza le implicazioni per il self-hosting e l'hardware di inference.

2026-10-27 📰 Fonte

📁 LLM AI generated ℹ️ LocalLLaMA

Baidu Unlimited-OCR 2: OCR a orizzonte illimitato con memoria costante

Baidu pubblica Unlimited-OCR 2: la tecnica SR-SWA comprime l'attenzione testo-immagine in 512 token di riferimento, mantenendo latenza e memoria quasi costanti. Il parsing supera il vincolo della lunghezza del documento dentro una finestra di contesto finita, con ricadute su TCO e architetture self-hosted.

2026-10-27 📰 Fonte

📁 LLM AI generated ℹ️ LocalLLaMA

Qwen 3.8 Flash Next e l'URL Alibaba: un test forzato, non una backdoor

Il caso del modello Qwen 3.8 Flash Next che contatterebbe un URL Alibaba nasce da un test che isola 2.232 token e forza il modello a generare l'indirizzo. Il prompt è ambiguo e privo di contesto. Cohere non ha prove di un atto deliberato. L'analisi dei log reali non mostra URL Alibaba. Il nodo è il monitoraggio delle azioni fuori dalla reasoning trace nei deployment self-hosted.

2026-10-27 📰 Fonte

📁 LLM AI generated 🏆 ArXiv cs.CL

Whispering Wisely: selezionare i dati giusti per il fine-tuning ASR

Un approccio basato sugli embedding dell'encoder di Whisper seleziona sottoinsiemi di addestramento più piccoli e rappresentativi per il fine-tuning ASR. Su ebraico e danese, la selezione k-center ottiene spesso risultati migliori del campionamento casuale, soprattutto con budget ridotti. L'analisi della diversità lessicale mostra una copertura linguistica più ampia. Per chi opera con stack locali e risorse limitate, il metodo sposta il vincolo dal calcolo puro alla qualità dei dati.

2026-10-27 📰 Fonte

📁 Hardware AI generated ✅ DigiTimes

AWS e Google sfidano CUDA mentre AMD e Intel abbassano i costi degli switch AI

La concorrenza a CUDA si allarga: AWS e Google spingono stack alternativi, mentre AMD e Intel puntano a ridurre il costo degli switch per cluster AI. Meno dipendenza dal software NVIDIA e costi di rete più bassi cambiano il calcolo del TCO per chi valuta infrastrutture su larga scala. Un segnale strutturale per il mercato dell'inference e del training distribuito.

2026-10-27 📰 Fonte

📁 Hardware AI generated ℹ️ LocalLLaMA

Nvidia fermerebbe gli ordini RTX 5090 ai partner: niente backorder

Secondo indiscrezioni, Nvidia non accetta più ordini per RTX 5090 dai board partner e blocca anche i backorder. La notizia, se confermata, segnala una domanda superiore all'offerta e riaccende il nodo hardware per chi fa inference on-premise: la disponibilità di GPU consumer di fascia alta condiziona la pianificazione di deployment locali.

2026-10-26 📰 Fonte

📁 Hardware AI generated ℹ️ Tom's Hardware

Rimosso il freno AI a metà velocità sulle GPU Nvidia RTX 20, 30 e 40

Una modifica alle schede Nvidia RTX 20, 30 e 40 rimuove un limite che dimezza le prestazioni nei carichi AI. Il caso tocca il cuore dell'inference locale e del TCO per chi sceglie hardware consumer.

2026-10-26 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Nanbeige4.3-33B: il docente che prepara i modelli compatti

Nanbeige4.3-33B non è solo un benchmark: è un insegnante per una pipeline di distillation. Per chi gestisce inference self-hosted, il segnale è chiaro: il costo si sposta dal deployment alla fase di distillazione. Il 3B potrà girare su hardware modesto, ma il docente richiede risorse. La sovranità dei dati passa dalla capacità di distillare on-premise.

2026-10-26 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

DeepSeek-V4.1 GSQ-RCO: quantization pronta, runtime in ritardo

Il rilascio dei quanti GGUF di DeepSeek-V4.1-Flash-1017 a cura di ISTA-DASLab non è solo una novità di quantization. Mette in luce il vero freno del deployment locale: l'integrazione con i runtime. Con llama.cpp ancora senza supporto ufficiale e il rimando a fork come Xolotl o Maya, chi sceglie l'on-premise deve valutare compatibilità, TCO e manutenzione. La disponibilità dei file non basta: serve un runtime capace di eseguirli.

2026-10-25 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

WebGL2 e LLM nel browser: il debito nascosto della tokenizzazione

Un esperimento con un LLM GGUF Q4 in WebGL2 si infrange sulla tokenizzazione, non sull'algebra lineare. Il consiglio di clonare llama.cpp segnala che nei deployment locali e self-hosted il differenziale non sta nel motore, ma nell'integrazione con dati e processi. Il browser è una frontiera reale per la sovranità, ma richiede runtime maturi e una prospettiva di TCO.

2026-10-24 📰 Fonte

📁 OnPremise AI generated 🏆 ArXiv cs.AI

RAG modulare: un LoRA che decide quando fermarsi e chiedere

IBM Research pubblica ClariEdge, un dataset di circa 3.900 esempi per riconoscere le query ambigue nella RAG. Un LoRA leggero ottenuto con fine-tuning raggiunge il 96,6% di accuratezza e supera baseline più grandi. Il segnale: componenti specializzati e locali possono filtrare prima e dopo il retrieval, riducendo esposizione dei dati e consumo di token. Restano i costi di curatela degli hard negative e il monitoraggio fuori distribuzione.

2026-10-23 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Ternario e solo CPU: il TTS locale ridisegna il TCO

Kitten-TTS 2 introduce la quantization ternaria a 1,58 bit in un modello da 1,7 miliardi di parametri che gira in tempo reale su CPU. Il self-hosting diventa realistico senza GPU, spostando il TCO dalla VRAM alla qualità del software di esecuzione. Per le aziende con vincoli di sovranità dei dati, la pipeline vocale può restare interamente locale. Il segnale: la compressione spinta diventa scelta architetturale pratica.

2026-10-22 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Cina, 35 miliardi in GPU Nvidia: il canale self-hosted rischia l'effetto domino

Le indiscrezioni su ordini cinesi di GPU Nvidia per oltre 35 miliardi di dollari segnalano una riallocazione del canale hardware. Per chi esegue LLM in locale, l'effetto non è solo prezzo: è disponibilità, potere negoziale e sovranità dei dati. L'analisi AI-Radar sui trade-off per deployment self-hosted.

2026-10-21 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Cohere porta North su llama.cpp: il self-hosting entra nella strategia

Con North Micro Vision su llama.cpp e Transcribe in Unsloth, Cohere normalizza l'inference locale e il fine-tuning su dati propri. Il segnale sposta il TCO: il costo marginale dell'hardware dedicato può divergere dal costo per token delle API. Restano da chiarire VRAM e livelli di quantization, ma per i modelli Cohere il self-hosting non è più un ripiego.

2026-10-20 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

DeepSeek Flash GGUF senza documentazione: il costo nascosto dell'on-premise

Un repository GGUF privo di note su Hugging Face sposta il costo della verifica su chi valuta il deploy. AI-Radar analizza quantization, contesto, VRAM e provenance, e mostra perché l'assenza di documentazione blocca pipeline self-hosted, TCO e sovranità.

2026-10-19 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Una Radeon da 16 GB esegue un LLM da 27B con 262k token: il segnale

Un homelab, non un vendor, ha documentato un LLM da 27 miliardi di parametri con 262.000 token di contesto su una singola Radeon RX 9060 XT da 16 GB di VRAM, usando quantization, streaming della cache KV e fix software. Il segnale: il costo d'ingresso per self-hosted ad alto contesto si sposta dalle GPU alla gestione del compromesso memoria-precisione-throughput. Resta il costo nascosto di integrazione e supporto.

2026-10-18 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Il 4B BF16 di NVIDIA e il conto della VRAM nell'inference locale

La pubblicazione di Dory1.0-4B-BF16 mostra come la precisione BF16 ridefinisca il deployment locale. Non è solo un modello piccolo: circa 8 GB di pesi spostano l'attenzione su VRAM, TCO e quantization. Per team con workstation e piccoli server, il segnale è chiaro: cresce la fascia intermedia tra cloud ed edge, con implicazioni per vendor GPU e fornitori cloud. Un'analisi del trade-off tra controllo e infrastruttura.

2026-10-17 📰 Fonte

📁 OnPremise AI generated ✅ PyTorch Blog

Muse Spark Open: il segnale vero è nei kernel portatili, non nei 816B

Meta ha aperto i pesi di Muse Spark Open, ma il punto non è solo la scala: Helion, DSL nativo PyTorch per kernel portatili, e il supporto TorchTitan per fine-tuning spostano il confronto su controllo hardware, TCO e self-hosting. Analisi di secondo e terzo ordine.

2026-10-16 📰 Fonte

📁 Hardware AI generated ℹ️ LocalLLaMA

AMD W7900 e LFM2.5: il segnale di un on-premise sempre più concreto

La prova di un LLM da 24 miliardi di parametri su AMD W7900, con contesto da 128.000 token e circa 95 token al secondo, segnala che l'inference on-premise si consolida anche fuori dall'ecosistema NVIDIA. L'analisi di AI-Radar esplora trade-off, sovranità dei dati e TCO.

2026-10-15 📰 Fonte

📁 OnPremise AI generated ✅ Phoronix

Mesa porta YOLOX su NPU: il driver aperto ridefinisce l'inference locale

Mesa estende il supporto alle NPU e dimostra YOLOX via PyTorch, spostando l'accesso all'accelerazione fuori dai toolchain proprietari. Per edge e on-premise, il driver aperto riduce lock-in e costi di porting, cambiando il calcolo del TCO. AI-Radar legge il segnale strutturale: l'accelerazione AI segue la traiettoria delle GPU, dove il valore si sposta dal semplice accesso hardware all'orchestrazione con framework condivisi e pipeline riproducibili.

2026-10-14 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Reverse engineering CUDA con AI: il sintomo di un lock-in che pesa sull'on-premise

Un post Reddit rilancia l'idea di usare LLM per ricreare CUDA open source e liberare le GPU AMD. Il segnale non è la fattibilità tecnica immediata, ma la tensione strutturale tra controllo dello stack, compatibilità software e TCO nelle infrastrutture self-hosted. Per chi valuta deployment on-premise, il dibattito mostra come la scelta hardware sia inseparabile da ecosistemi, framework e vincoli di migrazione.

2026-10-13 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Scontrini on-device: il segnale per chi controlla l'inference locale

Un modello da 0,8B che legge scontrini sul telefono mostra l'inference on-device come opzione concreta per documenti personali. Il progetto intreccia fine-tuning su dati donati, output JSON e una valvola self-hosted via server OpenAI-compatibile. Il segnale per chi valuta deployment locali è il trade-off tra memoria, qualità dei dati e TCO, con la sovranità come vincolo e non preferenza.

2026-10-12 📰 Fonte

📁 Hardware AI generated ℹ️ LocalLLaMA

RTX 4090 contraffatte: la falla hardware dell'inference self-hosted

La circolazione di RTX 4090 contraffatte, quasi indistinguibili all'ispezione visiva e ai primi test software, trasforma l'acquisto di GPU consumer per LLM on-premise in un rischio strutturale. Il danno non si limita alla sostituzione: include instabilità sotto carico, benchmark inaffidabili e TCO più alto. Per chi punta su self-hosted e sovranità dei dati, la provenienza hardware diventa competenza infrastrutturale, non solo logistica.

2026-10-11 📰 Fonte

📁 Market AI generated ℹ️ LocalLLaMA

GLM 5.3 Flash e Mistral Large 4: il sorpasso che sposta il TCO

Due modelli aperti guidano l'Artificial Analysis Cyber Index e superano ogni singolo modello Anthropic. Il sorpasso non è solo classifica: sposta il calcolo del TCO dai canoni API all'infrastruttura on-premise, riapre il confronto su sovranità dei dati, quantization e gestione delle GPU. AI-RADAR analizza le implicazioni per chi valuta deployment locali, fine-tuning e stack self-hosted, oltre i riflessi su vendor cloud e system integrator.

2026-10-10 📰 Fonte

📁 OnPremise AI generated 🏆 ArXiv cs.AI

SAP simula l'azienda: dati sintetici senza schema e il nuovo perimetro sovrano

Il framework Synthesis Through Simulation di SAP genera dati sintetici aziendali facendo operare un agente LLM contro API che applicano policy simulate, senza accedere agli schemi database. La validità strutturale nasce per costruzione, non per estrazione. Per le infrastrutture self-hosted cambia il calcolo di sovranità e TCO: la pipeline locale dalla simulazione al fine-tuning riduce dipendenza da cloud e approvazioni legali, ma sposta il rischio sulla fedeltà dell'ambiente simulato.

2026-10-09 📰 Fonte

📁 OnPremise AI generated ✅ Phoronix

LiteBox: il sandbox locale diventa un tassello per l’AI on-premise

Microsoft ha pubblicato il primo rilascio taggato di LiteBox, sandbox in Rust per isolare Linux su Linux e Linux su Windows. Il segnale è la maturità: un isolamento più forte dei container, portabile cross-OS, utile per pipeline LLM self-hosted. Riduce la dipendenza da sandbox cloud e rafforza sovranità. Restano da valutare overhead, superficie d'attacco e integrazione operativa.

2026-10-08 📰 Fonte

📁 Frameworks AI generated 🏆 ArXiv cs.LG

Guida esterna nei LLM: il bias non si elimina, si calibra

Il framework GA-GRPO formalizza la guida esterna nel fine-tuning di LLM reasoning come un operatore che introduce bias misurabile in base alla divergenza tra guida e policy. La teoria mostra che il bias è inevitabile e cresce nel tempo, ma il peso ottimale della guida diminuisce con l'avanzare dell'addestramento. Un test con Qwen2.5-Math-7B su nove benchmark mostra un risparmio del 31% di GPU-ore, con implicazioni dirette per il TCO dei deployment on-premise e self-hosted.

2026-10-07 📰 Fonte

📁 OnPremise AI generated ✅ Phoronix

ROCm 10.1: la cadenza software che riscrive il TCO on-premise

ROCm 10.1 conferma il ciclo di sei settimane di AMD per lo stack GPU. Più delle singole funzionalità, conta la prevedibilità: per i deployment self-hosted riduce il rischio di restare bloccati su versioni vecchie e rende il software parte governabile della pipeline. La maturità dello stack entra nel TCO accanto a VRAM e prestazioni. Restano incognite su compatibilità dei framework, SKU e qualità dei rilasci.

2026-10-06 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Quando un LLM locale perde il filo: biografie nel refactoring e quantization spinta

Un task di refactoring su RTX 5070 Ti con Qwen3.8-27B in quantization IQ3_XXS produce una digressione biografica su Lee Kuan Yew nel reasoning. L'episodio mostra come compressione spinta e velocità possano erodere la coerenza interna, rendendo fragile la tracciabilità nei deployment self-hosted. Per i deployment on-premise, l'attenzione si sposta dai token al secondo alla stabilità dei passaggi intermedi, con implicazioni per pipeline agentiche e supervisione.

2026-10-05 📰 Fonte

📁 LLM AI generated ℹ️ LocalLLaMA

Kolibri-1 e il nuovo baricentro dell'AI locale: meno calcolo, più memoria

Aleph Alpha pubblica la scheda di Kolibri-1: 78 miliardi di parametri totali, 3,46 miliardi attivi e contesto da 1 milione di token con licenza Apache 2.0. L'analisi AI-RADAR mostra come il vincolo si sposti dal calcolo alla memoria e alla cache KV, con implicazioni dirette per self-hosted e TCO.

2026-10-04 📰 Fonte

📁 Frameworks AI generated ✅ PyTorch Blog

Helion in vLLM: il tuning dei GEMM diventa ricerca, non artigianato GPU

L'integrazione di Helion nel backend lineare di vLLM mostra che un solo kernel GEMM con autotuner ahead-of-time può coprire varianti specializzate e migliorare l'inference fino al 10% su Qwen3. Per chi gestisce LLM self-hosted, il segnale è duplice: si riduce la dipendenza da competenze CUDA profonde, ma si sposta il costo sul tuning offline e sulla governance delle configurazioni.

2026-10-03 📰 Fonte

📁 OnPremise AI generated ✅ ServeTheHome

BIG-IP Next per Kubernetes: l'efficienza AI si sposta dalla GPU alla rete

Il test F5 su BIG-IP Next for Kubernetes mostra che lo stesso cluster GPU può rendere più del triplo agendo su bilanciamento e instradamento del traffico. Per i deployment on-premise l'efficienza per nodo diventa centrale per il TCO; il rischio è legare l'ottimizzazione a uno stack proprietario. AI-RADAR analizza le implicazioni per chi valuta infrastrutture locali, tra capacità inutilizzata e dipendenza tecnica.

2026-10-02 📰 Fonte

🎬

🎥 VIDEO

📁 General Editoriale

Plants Governed Agents

A demo showing the integration of MachinaOS with MES via Shopfloor-Copilot

2026-10-01

📁 LLM AI generated 🏆 ArXiv cs.AI

Fine-tuning oltre il testo: DASA trasforma il gradiente nel dataset

DASA genera embedding sintetici dai gradienti di attivazione di un modello congelato, addestrando LLM senza passare da testo leggibile. I test su Llama e Qwen mostrano prestazioni simili o superiori ai dati testuali, con speedup fino a 4,9 volte rispetto a GRADMM. Per i deployment self-hosted cambia l'equilibrio tra cura dei dati, calcolo, portabilità e audit.

2026-09-30 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Nemotron 3: il valore si sposta dai pesi all'orchestrazione dell'inference

Il punteggio di Nemotron 3 alle IOI 2026 non segna solo un primato. Il risultato dichiarato si spiega con GenCorrect, un loop di test-time compute che moltiplica i token per query. Per i deployment on-premise, i pesi aperti e la quantization NVFP4 abbassano la barriera hardware, ma il costo operativo si sposta su VRAM, throughput e TCO. L'analisi di AI-RADAR: perché conta e quali trade-off valutare.

2026-09-29 📰 Fonte

📁 OnPremise AI generated ✅ DigiTimes

Nvidia spinge i personal AI computer: l'on-premise diventa un formato

La spinta di Nvidia sui personal AI computer segnala un cambio di baricentro: l'inference LLM si avvicina al dispositivo locale. Non è solo hardware consumer, ma un nodo on-premise in miniatura che tocca VRAM, quantization, TCO e sovranità dei dati. Per i team IT si apre una terza via tra cloud e data center: occorre valutare carichi stabili, vincoli di memoria e complessità operativa.

2026-09-28 📰 Fonte

📁 Hardware AI generated ✅ ServeTheHome

Snapdragon 8 Elite Gen 6: l'inference locale sposta il perimetro dei dati

Qualcomm presenta due system-on-chip con matrix core nella GPU e supporto LPDDR6. Non è una corsa ai benchmark: è un segnale sul confine della sovranità dei dati, che si sposta nel dispositivo. L'analisi AI-Radar sui vincoli di memoria, Quantization e TCO per chi valuta LLM locali.

2026-09-27 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Qwengram-0.8B: memoria esterna e gate dinamica cambiano i conti del self-hosted

Qwengram-0.8B congela Qwen3.5-0.8B e aggiunge una memoria n-gram da 51 miliardi di parametri fuori dal GGUF. La perplexity scende del 5,05%, ma il dato rilevante è l'architettura: iniezione tardiva governata da una gate per token, sidecar quantizzato Q8_0 e nessun fine-tuning del backbone. Per chi gestisce LLM locali, il segnale è la separazione tra pesi e conoscenza: aggiornare la memoria senza toccare il modello apre scenari nuovi, ma impone vincoli severi ai runtime.

2026-09-26 📰 Fonte

📁 LLM AI generated 🏆 ArXiv cs.CL

Sicurezza, ad hominem e controllo locale: il vero costo degli LLM addomesticati

Il fine-tuning di sicurezza non è neutro: riduce lo spazio strategico degli LLM nei dibattiti reali. Per i deployment on-premise conta il controllo dei pesi, delle pipeline e del TCO. L'analisi AI-Radar mette a fuoco il trade-off tra modelli pronti via API e sistemi self-hosted capaci di ridefinire il comportamento conversazionale.

2026-09-25 📰 Fonte

📁 Hardware AI generated ℹ️ Tom's Hardware

AMD e GDDR7 su Linux: il segnale infrastrutturale per chi fa inference on-premise

L'avvio del supporto GDDR7 nei driver Linux di AMD segnala un cambiamento per chi gestisce infrastrutture AI on-premise. La notizia, apparentemente tecnica, anticipa l'importanza della banda di memoria per l'inference LLM e riduce l'attrito di integrazione per ambienti self-hosted. Un segnale da leggere in ottica TCO e sovranità dei dati, più che come annuncio di prodotto.

2026-09-24 📰 Fonte

📁 LLM AI generated ℹ️ LocalLLaMA

AliceAI 80B: architettura custom e il nodo dei runtime

Yandex ha pubblicato un base model da 80 miliardi di parametri con architettura custom e componente attiva ridotta. Non è una fine-tune di Qwen3 e non ha supporto in Llama.cpp: un doppio segnale. AI-RADAR analizza le implicazioni per chi valuta deployment on-premise: maturità dell'ecosistema di inference, costo di porting, proliferazione di architetture. Non è un modello plug-and-play, ma un indicatore di direzione tecnica.

2026-09-22 📰 Fonte

📁 OnPremise AI generated 🏆 ArXiv cs.LG

BI-Bench e BI-Agent: il vero divario è nell'orchestrazione dei dati

La BI end-to-end rivela un limite strutturale dei LLM: sotto il 50% di accuratezza senza guida umana. Il guadagno vero arriva da architetture che orchestrano strumenti e da post-training su dati proprietari. Per chi valuta on-premise e self-hosted, il TCO si sposta verso GPU, metadati e pipeline, non verso il costo per token.

2026-09-21 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Von, 395M parametri e solo CPU: cosa cambia per l'inference on-premise

Von, un LLM open source da 395 milioni di parametri, gira interamente su CPU con 1-2 GB di memoria e latenze dichiarate tra 25 e 300 ms. Presentato su Reddit come sostituto di JEV, senza ottimizzazione iniziale, riapre il confronto su deployment locali senza GPU. Per AI-RADAR il segnale non è il benchmark, ma il costo di verifica indipendente e la possibilità di self-hosted dentro il perimetro aziendale.

2026-09-20 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

Bonsai 2 Swift e il costo nascosto dei token nel self-hosted

La domanda di UkisAI su Bonsai 2 Swift non riguarda un semplice aggiornamento. Mette in luce come il TCO degli LLM locali dipenda sempre più dal comportamento a runtime: token sprecati, loop di overthinking e scelte di quantization ridefiniscono l'efficienza on-premise.

2026-09-19 📰 Fonte

📁 OnPremise AI generated 🏆 ArXiv cs.CL

Il Transformer che amplifica il disaccordo cambia i conti dell'on-premise

MDT trasforma la divergenza tra volto, voce e testo nel segnale centrale dell'analisi clinica, raggiungendo 0,7408 Macro F1 sul test BAH e addestrandosi in meno di venti minuti su singola GPU. Per AI-Radar il dato chiave è operativo: un modello che codifica il conflitto con token espliciti sposta l'attenzione su pipeline parallele, VRAM e TCO, rendendo più concreta l'elaborazione locale dei video sensibili.

2026-09-18 📰 Fonte

📁 OnPremise AI generated ℹ️ LocalLLaMA

63 ore di inference autonoma su una RTX 3090: il vero carico è l'orchestrazione

Un esperimento con un LLM da 27 miliardi di parametri in quantization a 4 bit su una RTX 3090, per 63 ore, non risolve Riemann ma mostra la tenuta di pipeline agentiche self-hosted. Il valore non è il teorema: è la stabilità di processo, la gestione della memoria e l'ownership dei dati. AI-Radar analizza implicazioni per infrastruttura locale, valutazione e orchestrazione.

2026-09-17 📰 Fonte

← Precedente Page 1 / 2 Successiva →

Vedi Archivio Completo 🗄️

AI-Radar is an independent observatory covering AI models, local LLMs, on-premise deployments, hardware, and emerging trends. We provide daily analysis and editorial coverage for developers, engineers, and organizations exploring local AI solutions.

LAUNCHING SOON ON LaunchTry

AI-Radar - Osservatorio su LLM locali, hardware AI e trend

AI-Radar per LLM on-prem & AI in casa

Il Segnale del Giorno

Qwen4 e il contesto da un milione di token: il conto si paga in VRAM

⚡ In Tendenza

🛠️ Guide &amp; Osservatorio On-Premise

Ultime analisi & news dal radar

🛠️ Guide & Osservatorio On-Premise