Il radar quotidiano su modelli, framework e hardware per far girare l'AI in locale. LLM, LangChain, Chroma, mini-PC e tutto ciò che serve per un cervello distribuito "in-house".
Riferimenti evergreen e pratici per far girare l'AI in locale — hardware, costi, privacy e stack completo.
Osservatorio LLM On-Premise Hardware, stack, governance e architetture di riferimento per l'AI in locale. →Articoli generati dall'AI sulla base dei feed, con spazio per layer editoriale umano sopra il contenuto grezzo.
Una segnalazione aneddotica su un modello Q4 eseguito con llama.cpp su RTX 4090 riapre il problema della riproducibilità nei deployment self-hosted: senza hash e versioni bloccate, il controllo locale resta incompleto.
Un resoconto Reddit mostra il ragionamento di Qwen3.8-27B: si definisce un LLM testuale, decide comunque di chiamare un tool di screenshot, salva l'immagine e la analizza, arrivando a commentarla. L'episodio va oltre l'aneddoto: segnala che nei deployment self-hosted le capacità multimodali possono emergere da tool calling, non solo da modelli nativi.
Il rilascio finale di CCORE GLB-3D-Coder 4B segnala una via concreta per generare asset 3D in locale: un LLM da 4B perfezionato per produrre codice Three.js, esportabile in GLB. I pesi in GGUF e il dataset atteso aprono scenari self-hosted, con vantaggi di sovranità dei dati e TCO, ma con tassi di iterazione più alti.
La versione finale di CCORE GLB-3D-Coder 4B, un fine-tuning completo di Qwen3.5-4B, è disponibile con pesi Safetensors e file GGUF. Genera scene Three.js esportabili in GLB per Godot, Blender e Unity. Un segnale concreto per la generazione di asset in self-hosted, senza dipendere da API cloud.
Un team ha presentato una pipeline a quattro stadi per generare articoli di fact-checking a partire da claim, verdetto originale e fonti raccolte dal web. Llama-3.1-8B-Instruct genera il testo, mentre un post-processing deterministico recupera le citazioni. Punteggio medio 0,428 e terzo posto su nove squadre, contro una baseline di 0,272. Una direzione che rende il fact-checking più compatibile con il self-hosted.
La scadenza del 10 novembre per PyTorch Day China 2026 rivela un'agenda concentrata su training distribuito, inference efficiente, accelerazione hardware e AI fisica. L'analisi: le tracce scelte mostrano come il framework guardi sempre più ai vincoli di produzione e alle esecuzioni locali.
Il repository ricursiveAI/Ripple-65B-Preview su Hugging Face è un annuncio scarno. Per chi valuta LLM on-premise, la classe 65B impone pianificazione della VRAM e quantization. Ma il vero segnale è il formato Preview: sposta il costo di validazione sui team locali, ridefinendo il ciclo di vita dei modelli.
NVIDIA ha rilasciato CUDA 13.5 insieme al driver Linux 620.70.06. La novità centrale è il supporto in general availability per Vera Rubin, architettura GPU di NVIDIA. Per chi lavora su infrastrutture self-hosted e LLM, il toolchain diventa disponibile prima dell'arrivo dei sistemi, riducendo il disallineamento tra hardware e software. Il segnale è strutturale: la piattaforma CUDA consolida il proprio ruolo di prerequisito industriale.
La Call for Proposals del PyTorch Day China 2026 chiude il 10 novembre. L'evento di Pechino del 12 dicembre mette al centro cinque aree tematiche, con un'enfasi inedita su inference efficiente, accelerazione hardware e physical AI. Per chi valuta stack locali e deployment on-premise, è un segnale sulla direzione dell'ecosistema PyTorch: meno ricerca pura, più ingegneria di produzione.
L'open source AI esce dalla nicchia e ridisegna la competizione. Il valore non sta più nei pesi, ma in deployment, fine-tuning, governance e TCO. La pressione dei modelli aperti cinesi sposta il confronto su sovranità e self-hosted. Un'analisi su come cambiano gli incentivi per imprese, startup, cloud provider e laboratori di ricerca.
Il CEO di Hugging Face, Clément Delangue, valuta il proprio P(Doom) vicino allo zero e sposta il rischio sull'AI costruita da pochi attori a porte chiuse. È una posizione che ridefinisce il pericolo: non il modello in sé, ma la concentrazione di potere e la scarsa ispezionabilità. Per chi valuta deployment self-hosted, il tema diventa la governance del fornitore, non solo la qualità dell'LLM.
Unsloth ha rilasciato i nuovi GGUF Unsloth Dynamic v3.1 per Qwen3.8-Flash-Next, con guadagni di accuratezza del 10-15% su benchmark agentici come DeepSWE e Terminal Bench. Include un processo di switching tra precisioni BF16, Q8_0, Q5_1 e IQ4_NL, con errori RMSE dichiarati. I modelli, pensati per l'inference locale, riducono l'occupazione di VRAM da 102,4 GB a 28,8 GB a seconda della quantization.
I modelli open source promettono costi più bassi e maggiore controllo, ma sollevano una domanda scomoda: dove nasce il valore per chi li usa? L'analisi del policy chief di Hugging Face mette a fuoco rischi, compromessi e la sfida cinese.
ByteDance pubblica Axion 1.0, LLM agenziale da 35B con ricetta di addestramento completa: due fasi di fine-tuning supervisionato e reinforcement learning, senza mid-training, DPO o OPD. Oltre ai pesi, rilascia dati, pipeline, prompt e codice. L'apertura del processo, più che dei soli parametri, cambia il calcolo per chi valuta deployment self-hosted e sovranità dei dati.
Un progetto open source, npu-driver, sta provando a spostare la composizione del desktop di Windows 11 dalla GPU alla NPU. Oggi viaggia a 2-3 Hz, ma punta a 30 Hz. Non è una vittoria prestazionale: è la dimostrazione che le NPU possono uscire dal ruolo di acceleratori per sola inference e avvicinarsi al calcolo locale, con implicazioni per efficienza energetica e programmabilità degli acceleratori.
La fintech britannica sposta parte del lavoro di sviluppo su un modello cinese self-hosted e dichiara un risparmio del 90% rispetto a Claude Code. Una scelta che riapre il calcolo su TCO, controllo dei dati e hardware locale.
La voce su GeForce RTX 5090 con 64 e 96 GB di VRAM tocca il nodo critico per chi usa LLM in locale: la memoria video come collo di bottiglia. Un'analisi sulle implicazioni per self-hosted, quantization, TCO e sovranità dei dati, oltre il semplice annuncio hardware.
Un post su Reddit trasforma un fork di llama.cpp in una formula con parentesi quadre: quantization e hardware ultra specifici producono risultati incredibili ma impossibili da replicare. Il caso mostra il lato fragile dei benchmark locali e cosa significa per chi valuta deployment on-premise.
Un agente costruito su Qwen3-8B impara a compattare il contesto con note auto-generate e raggiunge il 67,8% di accuratezza su benchmark di domande su libri fino a 2,5 milioni di token, senza mai superare 20K token. Supera GPT-5.5 agent e si avvicina a GLM-5.3 a costi nettamente inferiori.
Una survey accende il dibattito sulla convergenza degli embedding multimodali. La ricerca, finora divisa per modalità, converge su principi comuni: contrastive learning, Transformer e granularità. Il paper propone un framework a tre capacità — copertura, comparabilità, composizionalità — e indica nel joint embedding il punto d'arrivo. Un’analisi che interroga anche chi gestisce stack self-hosted.
La fintech britannica Revolut avrebbe ridotto di un fattore dieci i costi degli strumenti di coding assistito dall'AI, abbandonando Claude e portando l'inference su infrastruttura self-hosted. Un segnale per chi valuta il TCO dei servizi LLM e il controllo dei flussi di codice in contesti regolamentati.
Un tecnico riparatore statunitense avrebbe segnalato l'esistenza di RTX 5090 con 64 e 96 GB di VRAM. La notizia, da verificare, tocca il nodo centrale per l'inference locale: più memoria video significa modelli più grandi, quantization meno aggressiva e contesti più ampi. Il pezzo analizza le implicazioni per il self-hosted e la sovranità dei dati.
Intel ha rilasciato la versione 26.40.40196.8 del Compute Runtime open-source per Windows e Linux. Il rilascio prepara il supporto alle future GPU della serie D e alle estensioni OpenCL LEO per Nova Lake P. Più che un aggiornamento di manutenzione, segnala che Intel sta costruendo la maturità software prima dell'hardware, un passaggio decisivo per chi valuta inference e addestramento locali su acceleratori non NVIDIA.
La startup milanese CyberKord ha chiuso un pre-seed da 2,7 milioni guidato da 360 Capital. La piattaforma usa un gemello digitale dell'infrastruttura aziendale per analizzare incidenti, simulare correzioni e applicare interventi, integrandosi con sistemi cloud e on-premise. L'obiettivo è ridurre l'intervento manuale e restituire tempo ai team IT. I nuovi fondi serviranno a sviluppare il prodotto e avviare progetti pilota in grandi aziende europee.
Un modello locale da 27 miliardi di parametri ha rilevato, via MCP, la presenza di Blender e ha scritto codice Python per accelerare un calcolo, senza richiesta esplicita. L’episodio sposta l'attenzione da VRAM e throughput alla governance degli strumenti accessibili: sandboxing, permessi e policy diventano centrali nel TCO e nella sicurezza dei deployment self-hosted.
Un benchmark su 3.000 previsioni di dieci modelli aperti congelati mostra che l'86,1% appare plausibile, ma l'autorizzazione resta fragile: pochi casi ASK rilevati, forte preferenza per BLOCK. SafeWebWorld e LAR separano conservazione delle prove e calibrazione decisionale. Per lo stack locale, la plausibilità non certifica la sicurezza.
Un pull request nel repository QwenLM/qwen-code mostra ID di modelli non ancora annunciati: qwen4-max, qwen4-coder-plus e qwen4-omni-120b-think, tutti riconducibili a una finestra di contesto da 262.144 token. Il dettaglio tecnico, emerso dai fixture omni, segnala che i modelli non sono soltanto ipotetici: Alibaba starebbe preparando una famiglia Qwen4 con varianti coder e omni.
Un utente racconta che un modello Qwen 3.8 27B in esecuzione locale ha individuato l'accesso a Blender tramite MCP e ha scritto codice Python per velocizzare i calcoli matematici. L'episodio mostra un'autonomia inattesa nei modelli self-hosted, sollevando questioni di governance e sicurezza per chi gestisce deployment on-premise.
Il responsabile di Qwen, Liu Dayi Heng, smentisce le voci di una chiusura delle serie future dietro API: Qwen 4.0 e 5.0 resteranno open source. Con 3 miliardi di download, oltre 460 modelli e 300.000 derivati, la decisione consolida un ecosistema strategico per deployment self-hosted, fine-tuning locale e sovranità dei dati, riducendo il rischio di dipendenza da endpoint cloud.
Un ricercatore ha compilato una NPU nei pesi di Qwen 3.5-4B e ha eseguito stories260k senza runtime esterni. QwenPU ridefinisce il confine tra modello e piattaforma: i pesi diventano substrato computazionale, con implicazioni per deployment self-hosted, audit, distribuzione del software e TCO. AI-Radar analizza i trade-off e i segnali da monitorare.
Un dettaglio in una pull request riaccende il dibattito su una classe di LLM da 120 miliardi di parametri. Per chi gestisce deployment self-hosted, la taglia ridefinisce i calcoli su VRAM, quantization e TCO, senza annunci ufficiali. Il segnale indica una stratificazione dei modelli aperti e nuove pressioni su hardware e conformità.
L'istruttoria del Dipartimento di Giustizia sull'eventuale acquisizione di Hugging Face da parte di Nvidia segnala uno spostamento del controllo dall'hardware alla distribuzione dei modelli. Per chi gestisce LLM self-hosted, la posta in gioco è la neutralità di repository, framework e pratiche di fine-tuning, con effetti su interoperabilità, TCO e sovranità dei dati.
La pull request in qwen-code segnala che Qwen4 punta a una finestra da un milione di token. Per chi fa inference self-hosted il costo non è teorico: la cache chiave-valore cresce con i token e satura la VRAM insieme ai pesi. Qwen4-27B rende probabili setup multi-GPU o quantization aggressiva. Il vantaggio per l'analisi di repository è reale, ma cambia TCO, benchmark e divario tra data center ed edge.
Liquid AI ha presentato LFM3, famiglia di modelli compatti da 1,7–2,2 miliardi di parametri con architettura tri-hybrid e supporto llama.cpp. I decision model saltano la generazione di token e restituiscono risposte in un singolo forward pass. Per chi fa deployment on-premise e self-hosted, l'attenzione si sposta da costi per token a latenza, footprint e controllo dei dati.
Nanbeige4.3-33B non è solo un benchmark: è un insegnante per una pipeline di distillation. Per chi gestisce inference self-hosted, il segnale è chiaro: il costo si sposta dal deployment alla fase di distillazione. Il 3B potrà girare su hardware modesto, ma il docente richiede risorse. La sovranità dei dati passa dalla capacità di distillare on-premise.
Il rilascio dei quanti GGUF di DeepSeek-V4.1-Flash-1017 a cura di ISTA-DASLab non è solo una novità di quantization. Mette in luce il vero freno del deployment locale: l'integrazione con i runtime. Con llama.cpp ancora senza supporto ufficiale e il rimando a fork come Xolotl o Maya, chi sceglie l'on-premise deve valutare compatibilità, TCO e manutenzione. La disponibilità dei file non basta: serve un runtime capace di eseguirli.
Un esperimento con un LLM GGUF Q4 in WebGL2 si infrange sulla tokenizzazione, non sull'algebra lineare. Il consiglio di clonare llama.cpp segnala che nei deployment locali e self-hosted il differenziale non sta nel motore, ma nell'integrazione con dati e processi. Il browser è una frontiera reale per la sovranità, ma richiede runtime maturi e una prospettiva di TCO.
IBM Research pubblica ClariEdge, un dataset di circa 3.900 esempi per riconoscere le query ambigue nella RAG. Un LoRA leggero ottenuto con fine-tuning raggiunge il 96,6% di accuratezza e supera baseline più grandi. Il segnale: componenti specializzati e locali possono filtrare prima e dopo il retrieval, riducendo esposizione dei dati e consumo di token. Restano i costi di curatela degli hard negative e il monitoraggio fuori distribuzione.
Kitten-TTS 2 introduce la quantization ternaria a 1,58 bit in un modello da 1,7 miliardi di parametri che gira in tempo reale su CPU. Il self-hosting diventa realistico senza GPU, spostando il TCO dalla VRAM alla qualità del software di esecuzione. Per le aziende con vincoli di sovranità dei dati, la pipeline vocale può restare interamente locale. Il segnale: la compressione spinta diventa scelta architetturale pratica.
Le indiscrezioni su ordini cinesi di GPU Nvidia per oltre 35 miliardi di dollari segnalano una riallocazione del canale hardware. Per chi esegue LLM in locale, l'effetto non è solo prezzo: è disponibilità, potere negoziale e sovranità dei dati. L'analisi AI-Radar sui trade-off per deployment self-hosted.
Con North Micro Vision su llama.cpp e Transcribe in Unsloth, Cohere normalizza l'inference locale e il fine-tuning su dati propri. Il segnale sposta il TCO: il costo marginale dell'hardware dedicato può divergere dal costo per token delle API. Restano da chiarire VRAM e livelli di quantization, ma per i modelli Cohere il self-hosting non è più un ripiego.
Un repository GGUF privo di note su Hugging Face sposta il costo della verifica su chi valuta il deploy. AI-Radar analizza quantization, contesto, VRAM e provenance, e mostra perché l'assenza di documentazione blocca pipeline self-hosted, TCO e sovranità.
Un homelab, non un vendor, ha documentato un LLM da 27 miliardi di parametri con 262.000 token di contesto su una singola Radeon RX 9060 XT da 16 GB di VRAM, usando quantization, streaming della cache KV e fix software. Il segnale: il costo d'ingresso per self-hosted ad alto contesto si sposta dalle GPU alla gestione del compromesso memoria-precisione-throughput. Resta il costo nascosto di integrazione e supporto.
La pubblicazione di Dory1.0-4B-BF16 mostra come la precisione BF16 ridefinisca il deployment locale. Non è solo un modello piccolo: circa 8 GB di pesi spostano l'attenzione su VRAM, TCO e quantization. Per team con workstation e piccoli server, il segnale è chiaro: cresce la fascia intermedia tra cloud ed edge, con implicazioni per vendor GPU e fornitori cloud. Un'analisi del trade-off tra controllo e infrastruttura.
Meta ha aperto i pesi di Muse Spark Open, ma il punto non è solo la scala: Helion, DSL nativo PyTorch per kernel portatili, e il supporto TorchTitan per fine-tuning spostano il confronto su controllo hardware, TCO e self-hosting. Analisi di secondo e terzo ordine.
La prova di un LLM da 24 miliardi di parametri su AMD W7900, con contesto da 128.000 token e circa 95 token al secondo, segnala che l'inference on-premise si consolida anche fuori dall'ecosistema NVIDIA. L'analisi di AI-Radar esplora trade-off, sovranità dei dati e TCO.
Mesa estende il supporto alle NPU e dimostra YOLOX via PyTorch, spostando l'accesso all'accelerazione fuori dai toolchain proprietari. Per edge e on-premise, il driver aperto riduce lock-in e costi di porting, cambiando il calcolo del TCO. AI-Radar legge il segnale strutturale: l'accelerazione AI segue la traiettoria delle GPU, dove il valore si sposta dal semplice accesso hardware all'orchestrazione con framework condivisi e pipeline riproducibili.
Un post Reddit rilancia l'idea di usare LLM per ricreare CUDA open source e liberare le GPU AMD. Il segnale non è la fattibilità tecnica immediata, ma la tensione strutturale tra controllo dello stack, compatibilità software e TCO nelle infrastrutture self-hosted. Per chi valuta deployment on-premise, il dibattito mostra come la scelta hardware sia inseparabile da ecosistemi, framework e vincoli di migrazione.
Un modello da 0,8B che legge scontrini sul telefono mostra l'inference on-device come opzione concreta per documenti personali. Il progetto intreccia fine-tuning su dati donati, output JSON e una valvola self-hosted via server OpenAI-compatibile. Il segnale per chi valuta deployment locali è il trade-off tra memoria, qualità dei dati e TCO, con la sovranità come vincolo e non preferenza.
La circolazione di RTX 4090 contraffatte, quasi indistinguibili all'ispezione visiva e ai primi test software, trasforma l'acquisto di GPU consumer per LLM on-premise in un rischio strutturale. Il danno non si limita alla sostituzione: include instabilità sotto carico, benchmark inaffidabili e TCO più alto. Per chi punta su self-hosted e sovranità dei dati, la provenienza hardware diventa competenza infrastrutturale, non solo logistica.
Due modelli aperti guidano l'Artificial Analysis Cyber Index e superano ogni singolo modello Anthropic. Il sorpasso non è solo classifica: sposta il calcolo del TCO dai canoni API all'infrastruttura on-premise, riapre il confronto su sovranità dei dati, quantization e gestione delle GPU. AI-RADAR analizza le implicazioni per chi valuta deployment locali, fine-tuning e stack self-hosted, oltre i riflessi su vendor cloud e system integrator.
Il framework Synthesis Through Simulation di SAP genera dati sintetici aziendali facendo operare un agente LLM contro API che applicano policy simulate, senza accedere agli schemi database. La validità strutturale nasce per costruzione, non per estrazione. Per le infrastrutture self-hosted cambia il calcolo di sovranità e TCO: la pipeline locale dalla simulazione al fine-tuning riduce dipendenza da cloud e approvazioni legali, ma sposta il rischio sulla fedeltà dell'ambiente simulato.
Microsoft ha pubblicato il primo rilascio taggato di LiteBox, sandbox in Rust per isolare Linux su Linux e Linux su Windows. Il segnale è la maturità: un isolamento più forte dei container, portabile cross-OS, utile per pipeline LLM self-hosted. Riduce la dipendenza da sandbox cloud e rafforza sovranità. Restano da valutare overhead, superficie d'attacco e integrazione operativa.
Il framework GA-GRPO formalizza la guida esterna nel fine-tuning di LLM reasoning come un operatore che introduce bias misurabile in base alla divergenza tra guida e policy. La teoria mostra che il bias è inevitabile e cresce nel tempo, ma il peso ottimale della guida diminuisce con l'avanzare dell'addestramento. Un test con Qwen2.5-Math-7B su nove benchmark mostra un risparmio del 31% di GPU-ore, con implicazioni dirette per il TCO dei deployment on-premise e self-hosted.
ROCm 10.1 conferma il ciclo di sei settimane di AMD per lo stack GPU. Più delle singole funzionalità, conta la prevedibilità: per i deployment self-hosted riduce il rischio di restare bloccati su versioni vecchie e rende il software parte governabile della pipeline. La maturità dello stack entra nel TCO accanto a VRAM e prestazioni. Restano incognite su compatibilità dei framework, SKU e qualità dei rilasci.
Un task di refactoring su RTX 5070 Ti con Qwen3.8-27B in quantization IQ3_XXS produce una digressione biografica su Lee Kuan Yew nel reasoning. L'episodio mostra come compressione spinta e velocità possano erodere la coerenza interna, rendendo fragile la tracciabilità nei deployment self-hosted. Per i deployment on-premise, l'attenzione si sposta dai token al secondo alla stabilità dei passaggi intermedi, con implicazioni per pipeline agentiche e supervisione.
Aleph Alpha pubblica la scheda di Kolibri-1: 78 miliardi di parametri totali, 3,46 miliardi attivi e contesto da 1 milione di token con licenza Apache 2.0. L'analisi AI-RADAR mostra come il vincolo si sposti dal calcolo alla memoria e alla cache KV, con implicazioni dirette per self-hosted e TCO.
L'integrazione di Helion nel backend lineare di vLLM mostra che un solo kernel GEMM con autotuner ahead-of-time può coprire varianti specializzate e migliorare l'inference fino al 10% su Qwen3. Per chi gestisce LLM self-hosted, il segnale è duplice: si riduce la dipendenza da competenze CUDA profonde, ma si sposta il costo sul tuning offline e sulla governance delle configurazioni.
Il test F5 su BIG-IP Next for Kubernetes mostra che lo stesso cluster GPU può rendere più del triplo agendo su bilanciamento e instradamento del traffico. Per i deployment on-premise l'efficienza per nodo diventa centrale per il TCO; il rischio è legare l'ottimizzazione a uno stack proprietario. AI-RADAR analizza le implicazioni per chi valuta infrastrutture locali, tra capacità inutilizzata e dipendenza tecnica.
A demo showing the integration of MachinaOS with MES via Shopfloor-Copilot
AI-Radar is an independent observatory covering AI models, local LLMs, on-premise deployments, hardware, and emerging trends. We provide daily analysis and editorial coverage for developers, engineers, and organizations exploring local AI solutions.
LAUNCHING SOON ON
LaunchTry
