📖 AI-Radar · 2026-W39

Penalizzare i token di overthinking migliora i Qwen in formato GGUF

Un test su 50 domande del benchmark MATH-500 mostra che penalizzare via logit-bias i token di esitazione migliora l'accuratezza di Qwen3.5-4B in formato GGUF su tutti i livelli di quantization testati. In BF16 si passa dal 74% all'84%, mentre Q2_K raddoppia dal 12% al 24%. Il dato è preliminare ma segnala un intervento a costo zero per l'inference locale.

27 Sep #Hardware #LLM On-Premise #Fine-Tuning

Jev contro Kev: il costo nascosto dei token nei confronti tra LLM

Un benchmark indipendente confronta Jev e Kev 4B su 362 elementi freschi: accuratezza simile, ma Jev aggiunge 257 token input fissi per richiesta, fino a 12 volte il costo su richieste brevi.

25 Sep #Hardware #LLM On-Premise #Fine-Tuning

Qwengram-0.8B: memoria n-gram esterna, perplexity giù del 5,05%

Un esperimento tiene congelato Qwen3.5-0.8B, aggiunge una memoria PLE da 51 miliardi di parametri e un reader R=1: la perplexity di validazione scende del 5,05%. L'autore avverte che non è un guadagno di accuratezza su benchmark e pubblica GGUF, runtime llama.cpp modificato e sidecar quantizzato.

25 Sep #Hardware #LLM On-Premise #Fine-Tuning

Sicurezza, ad hominem e controllo locale: il vero costo degli LLM addomesticati

Il fine-tuning di sicurezza non è neutro: riduce lo spazio strategico degli LLM nei dibattiti reali. Per i deployment on-premise conta il controllo dei pesi, delle pipeline e del TCO. L'analisi AI-Radar mette a fuoco il trade-off tra modelli pronti via API e sistemi self-hosted capaci di ridefinire il comportamento conversazionale.

25 Sep

Attacchi ad hominem: perché il fine-tuning di sicurezza frena gli LLM

Un benchmark sui dialoghi politici mostra che gli LLM privilegiano difese logiche e non sfruttano i contrattacchi etotici negli attacchi ad hominem. Lo studio attribuisce il limite al fine-tuning di sicurezza, che restringe lo spazio strategico. Per chi valuta modelli self-hosted o on-premise, il punto non è solo prestazionale: è il controllo sui vincoli comportamentali.

25 Sep #Hardware #LLM On-Premise #Fine-Tuning

Framing nei titoli francesi: separare parole e selezione cambia le stime su 902mila casi

Un team ha costruito un corpus annotato di 10.000 titoli e classificato 902.111 titoli di 25 testate francesi (2022-2025). Il framework separa la salienza retorica dalla selezione editoriale. Emerge che le soglie predefinite gonfiano le stime e che i titoli su ebrei, estrema destra e musulmani presentano i tassi di salienza più alti, non del tutto spiegati dal contesto.

25 Sep #LLM On-Premise

SMILESGNN: tossicità clinica spiegabile con un modello da 0,4M parametri

Un modello multimodale da 0,4 milioni di parametri combina transformer SMILES e grafi GATv2 via cross-attention, ottenendo su ClinTox AUC-ROC 0,987 e F1 0,906. La variante con backbone ChemBERTa-2 su Tox21 raggiunge AUC-ROC medio 0,750, paragonabile a baseline più grandi. Il ramo grafico esplicito supporta spiegazioni GNNExplainer, segnalando che performance e interpretabilità possono coesistere in modelli compatti adatti anche a deployment on-premise.

25 Sep #Hardware #LLM On-Premise #Fine-Tuning

Agenti di previsione, il ragionamento non è sempre la scelta giusta

Un gruppo di ricerca ha sottoposto gli agenti di previsione a stress test comportamentali per capire quando retrieval, ragionamento, prior di mercato o analoghi storici meritano fiducia. La scelta del meccanismo dipende dalla fonte. ReliabilityRoute indirizza il comportamento con caratteristiche di affidabilità e una regola walk-forward ottiene il miglior punteggio Brier medio tra i sistemi deterministici su 16 vintage LLM. Il guadagno è modesto: più ragionamento non è sempre migliore.

25 Sep #LLM On-Premise #DevOps

ThinkingCap e Swift: chi doma il ragionamento eccessivo di Qwen3.8-27B?

Un confronto su llama.cpp con quantization Q8_0 mostra che i due fine-tuning riducono i token di completamento di circa il 40% rispetto a Qwen3.8-27B. I pass rate restano simili, ma Swift ha una riduzione più uniforme, mentre ThinkingCap paga una coda lunga e risponde in modo diverso a seconda del linguaggio di programmazione.

24 Sep #Hardware #LLM On-Premise #Fine-Tuning

Quando i LLM non sono d'accordo: così gli esperti intervengono solo dove serve

Uno studio su migliaia di trascrizioni di sessioni di tutoraggio mostra che usare il disaccordo tra più LLM per indirizzare l'attenzione degli esperti accorcia la revisione dei codebook da mesi a giorni. Tra tre metodi, la Rationale Labeling raggiunge il 64,9% di accuratezza contro il 57,8% del codebook rivisto dagli esperti. Il risultato segnala un cambio di incentivi: meno potenza di calcolo, più orchestrazione mirata del lavoro umano.

24 Sep #Hardware #LLM On-Premise #DevOps

Il template chat accende i disclaimer dei LLM: le auto-descrizioni non vanno prese alla lettera

Uno studio su otto modelli instruct open-source fino a 9B parametri mostra che il template della chat agisce come un interruttore: quando è presente aumenta i disclaimer "sono solo un'AI" e riduce le espressioni esperienziali, e viceversa. Nei layer di attivazione di tre modelli esiste una direzione che controlla questa voce. Per chi valuta LLM self-hosted, il risultato segnala che le auto-descrizioni non sono proprietà intrinseche del modello.

23 Sep #LLM On-Premise #Fine-Tuning #DevOps

Dati didattici o casi clinici: come cambia il profilo degli LLM medici

Uno studio con esperimenti a parità di token mostra che i dati didattici e quelli clinici influenzano in modo asimmetrico i Large Language Models medici: i dati clinici migliorano i task orientati alla clinica e restano competitivi su quelli di conoscenza, mentre i dati didattici spingono soprattutto la teoria. L'analisi degli errori rivela un divario tra sapere e fare, indicando una curatela dei dati guidata dal caso d'uso.

23 Sep #Hardware #LLM On-Premise #Fine-Tuning

Open weight: i download cinesi doppiano quelli USA e l'inference locale cambia

La testimonianza scritta di Nathan Lambert al Congresso fotografa un sorpasso strutturale: da agosto 2025, i modelli open-weight cinesi contano 3,2 miliardi di download su Hugging Face contro 1,6 miliardi americani. Su OpenRouter il traffico aperto è passato da circa mille miliardi a 80mila miliardi di token settimanali, con oltre l'80% da modelli cinesi. Il ritardo stimato dalla frontiera chiusa è di 2-5 mesi per i cinesi, 6-9 per gli americani, con il divario minore nell'agentic coding.

23 Sep #Hardware #LLM On-Premise #Fine-Tuning

Qwen 27B genera motion graphics su una RTX 4090: il confine locale si sposta

Un utente ha usato Qwen 27B su una RTX 4090 per produrre motion graphics ispirate ai recenti post con Opus 5.5. Il progetto, costruito con il framework Accuretta, mostra che la generazione creativa locale comincia a coprire casi d'uso finora riservati a modelli proprietari nel cloud. Nessuna metrica prestazionale è stata pubblicata, ma il segnale per chi valuta deployment self-hosted è chiaro: la barriera non è più soltanto il modello, ma l'orchestrazione.

27 Sep #Hardware #LLM On-Premise #DevOps

Da Gemini Flash a un modello locale da 50 MB: addestrare in 15 minuti è possibile

Uno sviluppatore ha addestrato un modello compatto per sostituire Gemini Flash in un task booleano ad alta frequenza. Con 2.500 esempi e una RTX A6000 da 16 GB, il training è durato 15 minuti: il risultato pesa 50 MB, gira su CPU in 0,06 secondi e raggiunge il 97% di accuratezza. Un caso concreto di inference locale meno costosa e più reattiva.

25 Sep #Hardware #LLM On-Premise #Fine-Tuning

Come aggiungere AI al software legacy senza riscriverlo

La convinzione che l’intelligenza artificiale imponga di riscrivere i sistemi legacy è spesso sbagliata. Esistono pattern di integrazione che trattano l’AI come un nuovo strato, non come una nuova fondazione: middleware, RAG, integrazione event-driven e Strangler Fig. La partita vera si gioca sul governo degli accessi e sui costi operativi, non sulla sostituzione del core.

25 Sep #LLM On-Premise #Fine-Tuning #DevOps

Project Suncatcher: il primo test orbitale di Google parte il 1° ottobre

Google lancia il 1° ottobre il satellite MVP, grande quanto un frigorifero, con quattro acceleratori TPU custom e pannelli solari da circa un kilowatt. Il test, parte del progetto Suncatcher, valida l'idea di costellazioni di satelliti per training e inference di modelli AI, riducendo il consumo energetico a terra. Il satellite usa un bus di Planet Labs, non costruito da zero.

24 Sep #Hardware #LLM On-Premise #Fine-Tuning

KDE, la proposta AI-native infiamma la comunità open source

La presentazione di una KDE 'AI-native' all'Akademy ha scatenato un conflitto aspro: thread cancellati, ban e una campagna per vietare del tutto l'uso degli LLM. Nate Graham ha chiesto scusa per il caos, mentre GNOME discute una policy simile. I nuovi obiettivi di KDE non citano l'IA, ma il nodo resta aperto: come governare contributi generati con LLM senza erodere fiducia e controllo.

24 Sep #LLM On-Premise #DevOps

Self-hosting Qwen-3.8-27B: il racconto di chi ha smesso di usare le API

Un utente documenta l'uso locale di Qwen-3.8-27B su Raspberry Pi con quantization Q4_K_S e contesto Q8_0. Costi di 2,4 centesimi per 1M token in input e 70 centesimi per 1M in output, paragonabili ai provider più economici. L'esperienza evidenzia potenzialità e limiti del deployment on-premise per carichi di lavoro autonomi.

24 Sep #Hardware #LLM On-Premise #DevOps

Clastix chiude un round da 2,9 milioni e punta a semplificare Kubernetes su larga scala

Clastix, società italiana attiva nella gestione di Kubernetes, ha chiuso un seed da 2,9 milioni di euro guidato da CDP Venture Capital Sgr. Il round coinvolge Mistral e VERTIS SGR. Con Kamaji, motore open source per control plane ospitati, e kMetal, piattaforma commerciale, sposta i control plane su infrastruttura condivisa per ridurre overhead e semplificare le operazioni su larga scala. Mistral conferma l'uso in produzione per training e inference.

24 Sep #LLM On-Premise #Fine-Tuning #DevOps

L’hack dell’FBI smaschera l’unità di hacking remota: dati su case e familiari

La violazione dei dati personali di migliaia di funzionari FBI include membri della Remote Operations Unit, con indirizzi, telefoni e nomi dei coniugi. 404 Media ha verificato parte dei 5.000 record attribuiti a ShinyHunters. La sensibilità del leak sta nella mappatura organizzativa che espone: ruoli, unità e relazioni personali. Un colpo alla sicurezza e alla sovranità dei dati anche per chi gestisce stack self-hosted.

23 Sep #LLM On-Premise #DevOps

Debian apre un portale inference per sviluppatori finanziato da Scaleway

Dopo il voto sull’uso responsabile dell’AI generativa, Debian lancia un portale inference gratuito per i contributori, finanziato da Scaleway. L’iniziativa abbassa le barriere d’accesso agli LLM, ma solleva interrogativi su dipendenza cloud e controllo dei dati per una comunità storicamente orientata al self-hosted.

23 Sep #Hardware #LLM On-Premise #DevOps

DiffuseDrive riempie i vuoti di dati che bloccano l'AI fisica

La startup ungherese DiffuseDrive genera dati sintetici per addestrare sistemi di AI fisica in difesa, mining, aerospace e veicoli autonomi. La piattaforma individua i casi limite assenti nei dataset, li produce controllando posizione e dimensione degli oggetti e alimenta il retraining. Funziona anche in modalità air-gapped su infrastruttura del cliente; con cluster GPU i dati si generano in ore. DiffuseDrive riporta miglioramenti superiori al 10% combinando sintetico e reale.

23 Sep #Hardware #LLM On-Premise #Fine-Tuning

ShinyHunters rivendica la violazione dell’FBI: dati su agenti e candidati

Il gruppo ShinyHunters sostiene di aver violato servizi collegati all’FBI e di detenere dati su tutti i dipendenti e candidati. Ha fornito un campione di 5.000 persone con nomi, indirizzi, telefoni e dettagli sui coniugi, verificati in parte con strumenti OSINT. L’attacco sarebbe passato da una vulnerabilità zero-day in Oracle PeopleSoft e da AWS GovCloud. Il gruppo nega motivazioni finanziarie e parla di coercizione.

22 Sep #LLM On-Premise

AstroForge mette un piccolo transformer al comando della prossima sonda

AstroForge affiderà alla prossima sonda Autonomy-1 un modello transformer di piccole dimensioni con il compito di prendere decisioni a bordo. L’inference locale diventa necessaria per gestire l’assenza di connettività e i vincoli fisici dello spazio. Il passaggio da software deterministico a policy appresa cambia i criteri di validazione e sposta gli incentivi verso chi comprime e verifica modelli per edge estremo.

22 Sep #Hardware #LLM On-Premise #DevOps

YSERVER: il server X11 in Rust aggiunge XDMCP per desktop multiutente

Il progetto open source YSERVER ha rilasciato un aggiornamento del suo server X11 scritto in Rust con l'assistenza di Claude Code. La novità principale è il supporto al protocollo XDMCP per desktop condivisi multiutente. La scelta del linguaggio e l'attenzione ai protocolli legacy segnalano un cambiamento nella manutenzione dell'infrastruttura grafica on-premise.

22 Sep #Hardware #LLM On-Premise

systemd 262 porta un canary AI/LLM nel cuore di Linux

systemd 262 introduce un canary AI/LLM per codice non revisionato e l'integrazione LUO. L'aggiornamento del sistema di init Linux segna un passaggio strutturale: l'analisi assistita da LLM entra nella base dell'infrastruttura, con implicazioni per fiducia, sovranità e deployment self-hosted. L'articolo analizza chi guadagna e chi perde quando un componente deterministico incorpora logiche probabilistiche.

22 Sep #LLM On-Premise #DevOps

Il collo di bottiglia non è il modello: Codex CLI sblocca un LLM locale

Un utente racconta come un modello Qwen 3.8 Flash Next su due RTX 3090 abbia superato GPT-5.6 Luna in un progetto reale, dopo essere stato collegato a Codex CLI. Il risultato riapre il dibattito su quale strato conti davvero nel deployment locale: non solo il modello, ma l'harness che orchestra prompt, contesto e strumenti.

27 Sep #Hardware #LLM On-Premise #DevOps

llama.cpp accelera di 42 volte il prompt lookup drafting

Il runtime open source per l'inference locale dei LLM introduce un miglioramento che rende la fase di prompt lookup drafting 42 volte più veloce. Non si tratta dell'intera generazione, ma di un componente chiave della decodifica speculativa: un cambio che per i deployment self-hosted può ridurre overhead e TCO senza nuovo hardware.

27 Sep #Hardware #LLM On-Premise #DevOps

KoboldCpp integra un agente locale: 9 tool, prompt ridotto e 12 GB di VRAM

KoboldCpp ora include un harness agente integrato, attivabile con una spunta o con --agent. L'agente offre nove strumenti integrati, un prompt di sistema da circa 2.000 token e punta a sostituire tool esterni come Opencode, Codex e Claude Code. Richiede almeno 28k di contesto, 8k di generazione e 12 GB di VRAM raccomandati. Concedo segnala anche un sito phishing che sfrutta blackhat SEO.

26 Sep #Hardware #LLM On-Premise #DevOps

llama.cpp accelera il prefill su CPU con mul_mat a tessere per k-quants

Una pull request in llama.cpp introduce una moltiplicazione matrice-vettore a tessere per i formati k-quants. Secondo la segnalazione, l'uso delle istruzioni VNNI accelera il mul_mat su CPU di 3-7 volte con complessità aggiuntiva minima. Il guadagno si concentra sul prefill dei prompt, rendendo più competitive le infrastrutture CPU per l'inference on-premise e self-hosted.

26 Sep #Hardware #LLM On-Premise #Fine-Tuning

Oh My Pi apre ai modelli custom: vLLM, llama.cpp, SGLang

Una segnalazione su Oh My Pi indica supporto per modelli custom con vLLM, llama.cpp e SGLang. La fonte è scarna, ma il titolo basta per inquadrare un nodo: il serving self-hosted resta frammentato tra runtime con profili hardware diversi, e l'integrazione sta diventando il vero strato critico per chi gestisce LLM in locale.

26 Sep #Hardware #LLM On-Premise #DevOps

OpenVINO su Laya: 40 ms per domanda su CPU, 3,4 volte più veloce di PyTorch

Un contributo open source aggiunge il supporto a OpenVINO nel progetto Laya: il tempo di risposta scende a 40 millisecondi per domanda su CPU, con un guadagno di 3,4 volte rispetto a PyTorch. Il risultato mostra quanto l’ottimizzazione runtime possa ridurre latenza e costi per carichi di inference leggeri, un segnale per chi valuta deployment senza GPU.

25 Sep #Hardware #LLM On-Premise #DevOps

Il kernel Linux valuta un AGENTS.md per governare le patch degli agenti LLM

Un patch set propone di introdurre un file AGENTS.md nel kernel Linux, offrendo agli agenti LLM istruzioni esplicite. Fino a oggi il progetto ne era privo nonostante l'aumento di patch generate da modelli. Non è più solo filtraggio: è un cambio di direzione verso la governance del contributo automatico.

25 Sep #LLM On-Premise

PyTorch Conference 2026: formazione pratica su GPU, vLLM e modelli multimodali

La PyTorch Foundation aggiunge alla conferenza nordamericana una traccia introduttiva e un corso certificato full-day. In calendario sessioni su Triton, profiling, TinyTorch, vision-language models e motori vLLM, con voucher da 250 dollari per la certificazione PyTorch Associate. Un segnale di professionalizzazione per chi costruisce inference e training in produzione.

24 Sep #Hardware #LLM On-Premise #DevOps

JAZ: un solo primitive invoke sfida i framework specializzati per agenti LLM

Un team di ricerca ha presentato JAZ, un framework per agenti LLM che riduce l'harness a un unico primitive, invoke, capace di eseguire codice arbitrario e di esporre all'LLM input e cronologia come variabili. Senza tool manuali né sistemi esterni, invoke supera Letta dell'8% su StuLife a metà costo e ACE del 4% su AppWorld. Una sfida alle architetture specializzate nella memoria e nell'auto-miglioramento.

24 Sep #LLM On-Premise #DevOps

Pipeline agentiche: quei guasti silenziosi che inquinano i risultati scientifici

Uno studio su 15 tool scientifici integrati in ToolUniverse ha individuato 91 guasti silenziosi nell'interazione tra agenti e tool: fallimenti in cui l'API o il wrapper restituiscono risposte incomplete senza alcuna notifica. La maggior parte si concentra negli strati API e wrapper. I ricercatori propongono il concetto di affidabilità contestuale.

24 Sep #LLM On-Premise #DevOps

Lemonade corregge lo streaming su APU AMD e abbandona ROCm: Vulkan 40 volte più veloce

Il server AI locale open source Lemonade pubblica la 2026.39.1 e una release candidate della 2026.40. Oltre al nuovo schema di versioning, corregge lo streaming dei modelli su APU AMD e rimuove il supporto OpenMOSS su ROCm, circa 40 volte più lento di Vulkan. Un segnale per chi valuta deployment self-hosted su hardware AMD integrato.

23 Sep #Hardware #LLM On-Premise #DevOps

GGUF nativi in Transformers: il punto per il deployment locale

Hugging Face ha aggiunto il supporto nativo ai file GGUF in Transformers. Basta indicare il percorso del file quantizzato per caricare il modello e usare le API standard. Su Apple Silicon vengono riutilizzati i kernel ggml, con benchmark su M2 Max vicini a llama.cpp. Non si tratta di sostituire llama.cpp, ma di offrire un ambiente più flessibile per debugging e valutazione, abbassando la barriera per chi lavora su hardware locale.

23 Sep #Hardware #LLM On-Premise #DevOps

Addestrare un LLM in Rust: il costo dei cedimenti silenziosi

Un autore ha pretrainato un LLM end-to-end in Rust per 164 dollari di GPU, ma il vero contributo è la tassonomia dei difetti silenziosi di Candle e Burn. Sei guasti gravi sono passati inosservati alle curve di loss: solo un test sul flusso dei gradienti li ha scovati. Il progetto segnala che Rust oggi è più credibile per il serving on-device che per il training.

23 Sep #Hardware #LLM On-Premise #Fine-Tuning

Cellule 3D da immagini 2D: un framework sfrutta le statistiche di popolazione

Un framework a supervisione di popolazione collega immagini 2D di globuli rossi a quantità biofisiche latenti, aggregandole in volume corpuscolare medio, ampiezza di distribuzione eritrocitaria ed emoglobina corpuscolare media. Combina inference locale condivisa, decoder strutturato, pesature apprese e calibrazione per dispositivo. Su 390 campioni e 1.105 acquisizioni da sei dispositivi riporta correlazioni di Pearson 0,86–0,98 con un analizzatore Sysmex, senza rivendicare ricostruzione 3D esplicita.

23 Sep #LLM On-Premise #Fine-Tuning #DevOps

LLM locale e vLLM: automatizzare le modifiche senza perdere il controllo

Un utente self-hosted racconta di aver chiesto al suo LLM locale di modificare vLLM per ridurre i consumi in idle con CUDA_DISABLE_PERF_BOOST=1. La scena mostra potenzialità e rischi dell'automazione operativa: risparmio energetico reale, ma anche necessità di guardrail, test e separazione dei piani di controllo.

22 Sep #Hardware #LLM On-Premise #DevOps

vLLM separa i percorsi: livelli hardware-agnostic per non perdere la portabilità

Il progetto vLLM introduce livelli hardware-agnostic in-tree per continuare a supportare acceleratori out-of-tree, GPU datacenter più vecchie e schede consumer. Su NVIDIA H100 il throughput totale resta entro il 3,4% dell'implementazione nativa. La mossa separa il percorso dei modelli flat ottimizzati per l'hardware di frontiera da quello portabile.

22 Sep #Hardware #LLM On-Premise #DevOps

Shopify ha chiuso il loop: gli errori di produzione diventano pesi del modello

Shopify descrive un loop di apprendimento continuo basato su PyTorch e vLLM: gli errori di produzione diventano aggiornamenti dei pesi del modello. L'agente GraphQL supera la qualità del modello frontier e taglia il costo di serving del 96%, passando da una stima di 27 milioni a circa 1 milione di dollari l'anno. La compressione del prompt riduce latenza e hardware.

22 Sep #Hardware #LLM On-Premise #Fine-Tuning

ZLUDA estende il supporto CUDA su GPU AMD con le API cuFFT

Il progetto open source ZLUDA ha aggiunto il supporto ad alcune API cuFFT di NVIDIA appoggiandosi a hipFFT, il componente dello stack ROCm/HIP di AMD. La novità amplia il perimetro di compatibilità CUDA su GPU non NVIDIA come le Radeon e segnala un cambio di strategia nell'ecosistema della portabilità.

22 Sep #Hardware #LLM On-Premise #DevOps

Snapdragon 8 Elite Gen 6: l'inference locale sposta il perimetro dei dati

Qualcomm presenta due system-on-chip con matrix core nella GPU e supporto LPDDR6. Non è una corsa ai benchmark: è un segnale sul confine della sovranità dei dati, che si sposta nel dispositivo. L'analisi AI-Radar sui vincoli di memoria, Quantization e TCO per chi valuta LLM locali.

27 Sep

Qualcomm presenta Snapdragon 8 Elite Gen 6: più Inference sul device

Qualcomm ha presentato i nuovi SoC Snapdragon 8 Elite Gen 6 e Elite Extreme Gen 6 con core Oryon, GPU matrix cores e supporto LPDDR6. Più che la potenza grezza, il segnale è la spinta dell'Inference locale: i carichi AI si spostano sul dispositivo. Restano aperti i vincoli di memoria e Quantization, decisivi per valutare i deployment edge e self-hosted.

27 Sep #Hardware #LLM On-Premise #DevOps

Linux 7.4 rafforza il reset della GPU su Raspberry Pi: stabilità per l'edge

Il kernel Linux 7.4 introduce nel driver VC4 un supporto migliore al reset della GPU Broadcom V3D, insieme a nuovi helper HDMI 2.0. Per le Raspberry Pi usate come nodi locali, recuperare da un errore della GPU senza riavviare il sistema migliora la disponibilità dei servizi self-hosted e riduce i rischi nei deployment edge.

27 Sep #Hardware #LLM On-Premise #Fine-Tuning

Nvidia: con RTX Mega Geometry 2.0 la geometria arriva in VRAM on demand

Nvidia presenta RTX Mega Geometry 2.0, che gestisce la geometria del ray tracing caricandola in VRAM su richiesta. L'approccio riduce la pressione sulla memoria video e segnala una direzione importante per i carichi locali, inclusi quelli legati all'inference di modelli.

26 Sep #Hardware #LLM On-Premise #DevOps

Mac Studio M5 Ultra: 256 GB di RAM, ma la GPU frena l'AI locale

Un utente ha testato un Mac Studio con M5 Ultra, 256 GB di RAM e GPU a 80 core per inference agentica con GLM-5.3-Flash. I risultati lo soddisfano, ma segnala che la GPU sembra sottodimensionata rispetto alla memoria, sollevando dubbi sull'utilità di un modello da 512 GB. Il caso evidenzia il trade-off tra capacità di memoria e potenza di calcolo nelle macchine locali per LLM.

25 Sep #Hardware #LLM On-Premise

Qualcomm pubblica le patch GPU Linux per Adreno 850 su Snapdragon X2 Mahua

Qualcomm ha diffuso patch open source per il driver GPU Adreno 850 nel SoC Mahua, destinato ai modelli inferiori della famiglia Snapdragon X2. La tempistica, un giorno dopo l'annuncio del supporto Linux per X2, indica che il codice aperto diventa parte del ciclo di lancio. Per il deployment locale di LLM, driver trasparenti e manutenibili pesano su sovranità, sicurezza e TCO.

25 Sep #Hardware #LLM On-Premise #DevOps

Qwen3.8-Flash-Next su RTX 5070: 65 token/s con un motore dedicato

Una RTX 5070 da 12 GB esegue Qwen3.8-Flash-Next a 65,1 token/s con un motore di inference dedicato. Il progetto Strata mostra come un runtime specializzato possa battere llama.cpp sulla stessa precisione numerica, portando l'elaborazione del prompt a 543 token/s su contesti da 128K. Un segnale per il deployment locale: hardware consumer, riduzione aggressiva della precisione e software ad hoc cambiano i termini del self-hosted.

24 Sep #Hardware #LLM On-Premise #DevOps

Mac M5 Ultra 256GB: il silenzio dei benchmark penalizza l’on-premise

Il Mac M5 Ultra con 256 GB è sul mercato ma mancano benchmark seri: solo influencer che testano modelli da 8b. Questo vuoto informativo penalizza chi valuta l'hardware Apple per LLM self-hosted, favorendo di fatto l'ecosistema Nvidia. Senza dati ripetibili su inference, quantization e TCO, il potenziale della memoria unificata resta non verificato, con implicazioni per la sovranità dei dati e la diversificazione dell'offerta on-premise.

24 Sep #Hardware #LLM On-Premise #DevOps

AMD e GDDR7 su Linux: il segnale infrastrutturale per chi fa inference on-premise

L'avvio del supporto GDDR7 nei driver Linux di AMD segnala un cambiamento per chi gestisce infrastrutture AI on-premise. La notizia, apparentemente tecnica, anticipa l'importanza della banda di memoria per l'inference LLM e riduce l'attrito di integrazione per ambienti self-hosted. Un segnale da leggere in ottica TCO e sovranità dei dati, più che come annuncio di prodotto.

24 Sep

Intel: il coordinamento CPU-GPU al centro dell'AI agentica

Intel sposta il focus sull'AI agentica: il coordinamento tra CPU e GPU diventa il fulcro. La mossa segnala una rilettura dell'hardware per workload che non si esauriscono in una singola inference, ma concatenano ragionamento, tool calling e memoria. Implicazioni dirette per chi valuta deployment on-premise, TCO e sovranità dei dati.

24 Sep #Hardware #LLM On-Premise #DevOps

Qualcomm apre il driver Linux della Adreno 850 un giorno dopo il lancio

Qualcomm ha annunciato lo Snapdragon 8 Elite Extreme Gen 6 e, il giorno dopo, ha pubblicato le prime patch per il kernel Linux dedicate alla GPU Adreno 850 con il driver MSM. La tempistica segnala un'attenzione crescente all'abilitazione open source per l'inference on-device e per i deployment edge.

23 Sep #Hardware #LLM On-Premise #DevOps

AMD inizia ad aggiungere il supporto GDDR7 ai driver GPU Linux

AMD ha iniziato ad aggiungere il supporto a GDDR7 nei driver GPU per Linux. Il lavoro di bring-up anticipa l'arrivo delle schede e tocca direttamente la banda di memoria, una variabile chiave per l'inference LLM su hardware locale. Per chi gestisce infrastrutture self-hosted su Linux, il supporto precoce nel driver aperto riduce l'attrito di integrazione e segnala una direzione precisa, anche se non ci sono ancora dettagli di prodotto.

23 Sep #Hardware #LLM On-Premise #Fine-Tuning

Qwengram-0.8B: memoria esterna e gate dinamica cambiano i conti del self-hosted

Qwengram-0.8B congela Qwen3.5-0.8B e aggiunge una memoria n-gram da 51 miliardi di parametri fuori dal GGUF. La perplexity scende del 5,05%, ma il dato rilevante è l'architettura: iniezione tardiva governata da una gate per token, sidecar quantizzato Q8_0 e nessun fine-tuning del backbone. Per chi gestisce LLM locali, il segnale è la separazione tra pesi e conoscenza: aggiornare la memoria senza toccare il modello apre scenari nuovi, ma impone vincoli severi ai runtime.

26 Sep

Jev non è una nuova classe di AI: è marketing per chi conosce solo gli LLM

La campagna su Jev come "System One Models" ignora anni di classificatori zero-shot, embedding e reranker. Le prove pubbliche mostrano solo che un classificatore specializzato batte un LLM autoregressivo in costo e latenza, un fatto già noto.

23 Sep #Hardware #LLM On-Premise #Fine-Tuning

Il debutto dei futures sulle GPU di CME Group si arena: CFTC frena

Lo stallo dei futures sulle GPU di CME Group, dopo le perplessità della CFTC, complica la pianificazione del TCO per chi costruisce infrastrutture on-premise e self-hosted per LLM.

23 Sep #Hardware #LLM On-Premise #DevOps