📖 AI-Radar · 2026-W42

Una Radeon da 16 GB esegue un LLM da 27B con 262k token: il segnale

Un homelab, non un vendor, ha documentato un LLM da 27 miliardi di parametri con 262.000 token di contesto su una singola Radeon RX 9060 XT da 16 GB di VRAM, usando quantization, streaming della cache KV e fix software. Il segnale: il costo d'ingresso per self-hosted ad alto contesto si sposta dalle GPU alla gestione del compromesso memoria-precisione-throughput. Resta il costo nascosto di integrazione e supporto.

18 Oct

LLM locali, non serve un cluster: 16 GB di VRAM per un 27B a 262k di contesto

Un homelab con una singola Radeon RX 9060 XT da 16 GB e 24 GB di RAM DDR5 esegue un LLM da 27 miliardi di parametri con 262.000 token di contesto. Il setup usa quantization IQ4_XS, cache KV streaming e registra 42,7 token/s in generazione a 20k di contesto.

18 Oct #Hardware #LLM On-Premise #DevOps

Il 4B BF16 di NVIDIA e il conto della VRAM nell'inference locale

La pubblicazione di Dory1.0-4B-BF16 mostra come la precisione BF16 ridefinisca il deployment locale. Non è solo un modello piccolo: circa 8 GB di pesi spostano l'attenzione su VRAM, TCO e quantization. Per team con workstation e piccoli server, il segnale è chiaro: cresce la fascia intermedia tra cloud ed edge, con implicazioni per vendor GPU e fornitori cloud. Un'analisi del trade-off tra controllo e infrastruttura.

17 Oct

Muse Spark Open: il segnale vero è nei kernel portatili, non nei 816B

Meta ha aperto i pesi di Muse Spark Open, ma il punto non è solo la scala: Helion, DSL nativo PyTorch per kernel portatili, e il supporto TorchTitan per fine-tuning spostano il confronto su controllo hardware, TCO e self-hosting. Analisi di secondo e terzo ordine.

16 Oct

Voice agent e recupero crediti: la conformità diventa una specifica

Un modello da 9 miliardi di parametri, addestrato una sola volta su 2.506 conversazioni generate da 297 procedure, affronta procedure di recupero crediti mai viste. I controlli documentali passano da 67-71% a 93-100%, i controlli grounded restano alti. L'audit della specifica condivisa trova 11 difetti, tre non rilevati dalla metrica.

15 Oct #LLM On-Premise #Fine-Tuning #DevOps

Mesa porta YOLOX su NPU: il driver aperto ridefinisce l'inference locale

Mesa estende il supporto alle NPU e dimostra YOLOX via PyTorch, spostando l'accesso all'accelerazione fuori dai toolchain proprietari. Per edge e on-premise, il driver aperto riduce lock-in e costi di porting, cambiando il calcolo del TCO. AI-Radar legge il segnale strutturale: l'accelerazione AI segue la traiettoria delle GPU, dove il valore si sposta dal semplice accesso hardware all'orchestrazione con framework condivisi e pipeline riproducibili.

14 Oct

Reverse engineering CUDA con AI: il sintomo di un lock-in che pesa sull'on-premise

Un post Reddit rilancia l'idea di usare LLM per ricreare CUDA open source e liberare le GPU AMD. Il segnale non è la fattibilità tecnica immediata, ma la tensione strutturale tra controllo dello stack, compatibilità software e TCO nelle infrastrutture self-hosted. Per chi valuta deployment on-premise, il dibattito mostra come la scelta hardware sia inseparabile da ecosistemi, framework e vincoli di migrazione.

13 Oct

Scontrini on-device: il segnale per chi controlla l'inference locale

Un modello da 0,8B che legge scontrini sul telefono mostra l'inference on-device come opzione concreta per documenti personali. Il progetto intreccia fine-tuning su dati donati, output JSON e una valvola self-hosted via server OpenAI-compatibile. Il segnale per chi valuta deployment locali è il trade-off tra memoria, qualità dei dati e TCO, con la sovranità come vincolo e non preferenza.

12 Oct

Avatar vocali in tempo reale con GPU locale: Openspline supera i 90 FPS su RTX 4090

Il progetto open source Openspline aggiunge uno strato avatar alle pipeline vocali esistenti: da un'immagine genera un volto parlante con labiale sincronizzato, eseguito localmente sulla GPU. Il modello lite supera i 90 FPS su una NVIDIA RTX 4090 e si integra con un agente vocale in poche righe di codice. Ancora in fase iniziale, punta al self-hosting.

18 Oct #Hardware #LLM On-Premise #DevOps

ORL spinge i diffusion LLM a 2.788 token/s su una RTX 5090

Il progetto ORL (On-Policy Residual Learning) promette di accelerare i diffusion LLM senza sacrificare la qualità. Su una singola RTX 5090 il team segnala 2.788 token/s con LLaDA-2.1-mini in NVFP4; il motore di inference dlmrt, open source, sfrutta CUDA graph e supporta le GPU Blackwell. Numeri di picco in modalità single-request, ma il valore sta nel cambio di prospettiva per chi valuta deployment self-hosted.

16 Oct #Hardware #LLM On-Premise #Fine-Tuning

Sovranità open source: il lavoro noioso che la rende concreta

Al Summit Europe l'attenzione va a GPU e AI, ma la parte più concreta viene dai piani di conformità CRA, metriche OSPO e obiettivi di migrazione come il 70% open source di Berlino entro il 2032. La burocrazia diventa infrastruttura.

16 Oct #Hardware #LLM On-Premise #DevOps

Bolt Graphics cerca 100 milioni di dollari per sfidare Nvidia e AMD con la GPU Zeus

Bolt Graphics cerca 100 milioni di dollari per sviluppare Zeus, una GPU che punta a sfidare Nvidia e AMD oltre i soli carichi AI. La fonte non riporta specifiche tecniche, ma la mossa segnala un tentativo di creare un terzo polo hardware. Il successo dipenderà meno dal silicio e più dall'ecosistema software, dal TCO e dalla capacità di convincere chi gestisce pipeline self-hosted.

16 Oct #Hardware #LLM On-Premise #Fine-Tuning

DeepSeek-V4-Flash su 4 Radeon AI PRO R9700: la modalità da 79 tok/s funziona

Un test con quattro Radeon AI PRO R9700 reali mostra che il motore affinity gestisce la configurazione multi-GPU senza output degeneri. La quantization a 2,875 bpw tiene 11.008 esperti in VRAM: 79 token/s in greedy, nessun host pool allocato. Il bug era nella simulazione con due schede, non nell'esecuzione multi-rank.

16 Oct #Hardware #LLM On-Premise #DevOps

GNOME Mutter migliora il damage tracking per le GPU secondarie

Un ritocco nel compositor di GNOME 52 limita le copie inutili tra le GPU nei portatili ibridi. Meno spreco di banda e batteria, con un effetto indiretto su chi usa la GPU discreta anche per l'inference locale.

15 Oct #Hardware #LLM On-Premise #DevOps

AMD W7900 e LFM2.5: il segnale di un on-premise sempre più concreto

La prova di un LLM da 24 miliardi di parametri su AMD W7900, con contesto da 128.000 token e circa 95 token al secondo, segnala che l'inference on-premise si consolida anche fuori dall'ecosistema NVIDIA. L'analisi di AI-Radar esplora trade-off, sovranità dei dati e TCO.

15 Oct

Una PS5 jailbroken esegue Qwen 27B a 20 token/s: segnale per il self-hosting

Una PS5 sbloccata esegue Qwen 27B a circa 20 token/s sulla GPU della console. L'esperimento, emerso su Reddit, mostra come hardware consumer con memoria unificata possa sostenere inference self-hosted su modelli da 27 miliardi di parametri, abbassando la soglia d'ingresso per prototipi on-prem. Non è un server di produzione, ma segnala una pressione sui costi e nuovi spazi per la sovranità dei dati.

13 Oct #Hardware #LLM On-Premise #DevOps

Reverse engineering CUDA, la sfida ironica di un utente AMD

Un post su Reddit rilancia l'idea di usare l'AI per produrre un'implementazione open source di CUDA. L'autore, possessore di una GPU AMD Radeon, vede nel reverse engineering una risposta al lock-in NVIDIA. La discussione tocca il controllo dello stack hardware e le alternative per l'inference locale, ma resta aperta su fattibilità tecnica e legale.

13 Oct #Hardware #LLM On-Premise #Fine-Tuning

Intel Crescent Island diventa D-Series: fino a 480 GB di LPDDR5X

Intel ha trasformato Crescent Island in una linea commerciale: D-Series. La scheda D270 integra 32 core Xe3P, 256 XMX engine, fino a 480 GB di LPDDR5X e 1,5 TB/s di banda. Le prestazioni dichiarate arrivano a 1,3 PetaFLOPS FP8, con supporto da FP4 a FP64. Manca ancora una stima di prezzo. La scheda PCIe Gen5 x16 da 350 W usa raffreddamento ad aria.

12 Oct #Hardware #LLM On-Premise #Fine-Tuning

Da Crescent Island alla serie D: Intel punta sull’inference aziendale

Intel ha annunciato la serie GPU D, erede dei prodotti noti come Crescent Island e pensata per l’inference in ambito enterprise. L’annuncio non include specifiche su VRAM o prestazioni, ma il cambio di denominazione segnala un posizionamento più diretto nel mercato degli acceleratori per LLM on-premise. Per chi valuta deployment locali, il punto non è il confronto prestazionale immediato, ma capire come Intel intende competere su TCO e integrazione.

12 Oct #Hardware #LLM On-Premise #Fine-Tuning

Intel D-Series: la D270 sceglie l’inference con FP8 e 1,5 TB/s

Intel svela nome e specifiche della scheda di inference per data center Crescent Island: D-Series e D270 con 1,3 PFLOPS FP8 denso e 1,5 TB/s di banda memoria. Un indizio per chi valuta hardware on-prem per LLM.

12 Oct #Hardware #LLM On-Premise #Fine-Tuning

RTX 5080 da 24 GB: un rumor del 2027 che sposta gli equilibri on-premise

Un rumor da Reddit indica una RTX 5080 da 24 GB nel primo trimestre 2027, ma i partner non hanno ancora dettagli. Per chi fa inference locale di LLM, la VRAM è il vincolo chiave. Il silenzio informativo rallenta integratori e progettisti di macchine self-hosted, mentre i cloud vendor restano indifferenti. L'analisi: capacità necessaria ma non sufficiente.

12 Oct #Hardware #LLM On-Premise #DevOps

RTX 4090 'rotta' a 350 dollari: dentro una GPU falsa e memoria sostituita

Un acquirente ha pagato 350 dollari per una RTX 4090 rotta, ma il tecnico ha scoperto una GPU falsa e memorie sostituite. La truffa, documentata da un riparatore russo, usa PCB dummy sofisticati. Per chi costruisce infrastrutture LLM on-premise, l'episodio mostra quanto il mercato secondario delle GPU ad alte prestazioni sia ormai un bersaglio per contraffattori, con ripercussioni su TCO, affidabilità delle pipeline e fiducia nei canali di approvvigionamento.

12 Oct #Hardware #LLM On-Premise #Fine-Tuning

Biren BR20X: sistemi AI da 1.024 chip, ma le restrizioni USA colpiscono il cloud

Biren Technology punta alla GPU BR20X per sistemi AI fino a 1.024 chip, secondo Yicai. Le restrizioni statunitensi però frenano la produzione di massa nel cloud. L'analisi mostra perché il salto di scala non è solo una sfida hardware: tocca supply chain, memoria avanzata e strategie di deployment per chi cerca alternative locali.

12 Oct #Hardware #LLM On-Premise #DevOps

Qwen 3.8 Flash Next: il PLE in FP8 cambia le carte in locale

Un esperimento su Reddit mostra che sostituire il PLE quantizzato dei GGUF comuni con il sidecar FP8 completo migliora la qualità percepita di Qwen 3.8 Flash Next, senza impatto sulla velocità. Cresce solo lo spazio su disco.

17 Oct #LLM On-Premise #DevOps

DeepSeek V4.1 Flash su Hugging Face: il self-hosting torna sotto i riflettori

La repository di DeepSeek V4.1 Flash compare su Hugging Face senza dettagli tecnici. Per i team che valutano LLM self-hosted, il solo annuncio accende un confronto su architetture efficienti e inference locale. Ma senza parametri, memory footprint o quantization, siamo davanti a un segnale, non a una scheda tecnica.

17 Oct #Hardware #LLM On-Premise #DevOps

NVIDIA e il 4B BF16: il peso specifico dell'inference locale

Un modello da 4 miliardi di parametri in precisione BF16 firmato NVIDIA Nemotron Labs appare su Hugging Face. Non è la dimensione a contare, ma il formato: BF16 tiene il modello lontano dalle compressioni spinte e lo colloca nello spazio dei deployment locali su GPU con VRAM adeguata. Ne analizziamo le implicazioni per chi valuta self-hosted e TCO.

17 Oct #Hardware #LLM On-Premise #Fine-Tuning

Beam di Reflection: ragionamento a token ridotti, memoria da 501 miliardi

Reflection ha rilasciato Beam, LLM aperto con architettura MoE da 501 miliardi di parametri totali e 23 miliardi attivi. Supporta contesto da 1 milione di token e precisioni BF16, FP8 e NVFP4. La tesi è il ragionamento token-efficiente: circa un terzo dei token di inference rispetto ai modelli aperti leader. I benchmark mostrano risultati forti su coding e matematica, ma la memoria resta il nodo per il self-hosted.

16 Oct #Hardware #LLM On-Premise #DevOps

Ragionamento nascosto: l’approccio ibrido che dimezza i token degli LLM

Un preprint di Stanford, Together AI, UIUC e Meta introduce i Hybrid Reasoning Agents: modelli che ragionano in modo interno e producono testo solo per tool e risposta finale. Nei test segnalati guadagnano circa il 10%, usano metà token, girano due volte più veloci e costano meno. Il vero cambiamento è strutturale: il ragionamento esce dal flusso testuale, con effetti su verificabilità, fiducia e TCO dell’inference.

16 Oct #Hardware #LLM On-Premise #DevOps

Tencent Hy-Memory-30B-A3B: perché 3B attivi contano più di 30B totali

La scheda del modello Tencent Hy-Memory-30B-A3B accende il dibattito su un dato sfuggente: un'architettura con 3 miliardi di parametri attivi su 30 miliardi totali supererebbe Opus 5 in un test di memoria non specificato. Il punto non è il benchmark, ma il segnale strutturale per chi valuta deployment self-hosted: meno parametri attivi possono ridurre VRAM e costi di inference, senza rendere il modello più semplice da valutare.

16 Oct #Hardware #LLM On-Premise #DevOps

Qwen Flash Next: il quant Q2 GYRO-M sfida i team di ISTA Lab

Un test empirico di tre giorni su GYRO-M, quantization Q2 del modello Qwen Flash Next, segnala stabilità paragonabile al q3 ISTA con dimensioni ridotte. Il progetto nasce da un singolo contributore e mostra tenuta su contesti lunghi, ma evidenzia criticità sui testi cirillici. Una novità che riapre il confronto su quantization, loop resistance e metriche di qualità per deployment locali.

16 Oct #Hardware #LLM On-Premise #DevOps

Benchmark saturi: nei transcript resta segnale utile

Quando più modelli raggiungono punteggi quasi perfetti, i benchmark perdono capacità di distinguerli. Uno studio mostra che le trascrizioni complete dei task, anche da benchmark saturi, conservano informazioni predittive. Il pairwise judging riduce l'errore di predizione di 5,3 volte rispetto ai soli punteggi. Il segnale però non sempre regge ai cambi di distribuzione: i primi modelli di reasoning del 2025 sono stati sottostimati.

16 Oct #LLM On-Premise #DevOps

Meta apre i pesi di Muse Spark Open: 816B parametri e contesto da 1M token

Meta rilascia i pesi di Muse Spark Open, modello da 816 miliardi di parametri totali e 42 miliardi attivi con finestra da 1M token. L'annuncio unisce Helion e TorchTitan: kernel portabili su GPU NVIDIA, AMD e Intel e strumenti di fine-tuning nativo PyTorch. Un segnale per chi valuta deployment on-premise, ma pesi aperti non significa licenza open source.

15 Oct #Hardware #LLM On-Premise #Fine-Tuning

Nemotron 3.5 Bolt: un VLM da 74B compresso in 24 GB per l'on-premise

NVIDIA descrive Nemotron 3.5 Bolt come modello vision-language per task agentici locali: 74B parametri totali, 9B attivi, quantization nativa a 2 bit e footprint da 24 GB. Supporta testo, immagini, video e contesto fino a 256K token; l'esecuzione avviene con vLLM su Ampere, Hopper e Blackwell.

15 Oct #Hardware #LLM On-Premise #Fine-Tuning

Microsoft e il modello locale da 137 miliardi di parametri: la mossa per il codice on-premise

Microsoft AI ha sviluppato una versione locale di MAI Code 1.1 Flash, modello di coding ottimizzato con architettura mixture-of-experts: 137 miliardi di parametri totali e 6,8 miliardi attivi. La notizia segnala una spinta verso strumenti di sviluppo self-hosted su Windows, con implicazioni per sovranità dei dati e costi di inference locale.

15 Oct #Hardware #LLM On-Premise #DevOps

Mr.Chatterbox-2.7B-Chat: un LLM addestrato da zero sui testi vittoriani

Presentato nella community da u/centerstate, Mr.Chatterbox-2.7B-Chat è un checkpoint pre-addestrato e rifinito con fine-tuning su testi vittoriani per la massima accuratezza storica. L'approccio da zero su un dominio specifico, con un modello da 2,7 miliardi di parametri, apre scenari per deployment self-hosted e controllo dei dati, pur restando un esperimento di nicchia.

15 Oct #Hardware #LLM On-Premise #Fine-Tuning

Il bengalese smonta le certezze dei benchmark LLM in inglese

Un benchmark zero-shot su otto LLM mostra che la qualità della summarization non si trasferisce dall'inglese al bengalese. GPT-5.6 Luna domina alcune metriche lessicali inglesi, ma LLaMA 3.3 70B ottiene i migliori ROUGE e BLEU bengalesi; Gemini 2.5 Flash primeggia in factuality. I ranking cambiano con la metrica: per le lingue a basse risorse serve un evaluation framework multilingue.

15 Oct #Hardware #LLM On-Premise #Fine-Tuning

Modello inverso: addestrare LLM al ragionamento senza CoT

Un gruppo di ricercatori usa un LLM 'inverso' per ricostruire le tracce di ragionamento partendo dalle sole risposte. Il modello, addestrato una volta, genera in modo offline i passaggi intermedi per dati prompt-risposta, evitando i rollout multipli del reinforcement learning. Su Qwen3-0.6B una singola distillazione raddoppia pass@1 sui prompt difficili; lo stesso modello inverso fa da verificatore e porta la selezione best-of-n su Countdown da 0.753 a 0.969.

15 Oct #Hardware #LLM On-Premise #Fine-Tuning

Lotus: prevedere il futuro per comprendere le serie temporali

Il forecast grounding obbliga i modelli time-series allineati al linguaggio a conservare la dinamica temporale prima di affrontare i task finali. Lotus usa patch temporali-spettrali e parametri minimi, superando baseline molto più grandi su TSRBench.

15 Oct #LLM On-Premise #Fine-Tuning #DevOps

Il primo esame dell’artificialità: un C-test basato su LLM per la sovraintelligenza

Un nuovo test usa Levin's Kt e i modelli linguistici come macchine di rappresentazione per generare item di difficoltà misurabile in bit, prima che umani o modelli di frontiera riescano a risolverli. Dodici LLM sono stati valutati su una prima batteria certificata, mostrando curve caratteristiche che declinano con la difficoltà fino a una regione di sovraintelligenza non ancora esplorata.

15 Oct #LLM On-Premise #DevOps

LiquidAI LFM2.5-24-A2B: performance robuste su AMD W7900 per LLM on-premise

Un utente ha condiviso un'esperienza positiva con il modello LiquidAI LFM2.5-24-A2B (24B parametri), evidenziando performance elevate (~95 tps) su GPU AMD W7900. Il modello, che richiede 30GB di VRAM per la quantization Q8 con un contesto di 128k token, si dimostra affidabile per carichi di lavoro locali, suggerendo un potenziale significativo per deployment on-premise e una maggiore diversificazione hardware nell'inference LLM.

15 Oct #Hardware #LLM On-Premise #DevOps

Ling-3.1-flash: 560 miliardi di parametri, 25B attivi e contesto da 1 milione di token

Il modello inclusionAI Ling-3.1-flash appare su Hugging Face con 560 miliardi di parametri totali, 25 miliardi attivi per token e una context window da 1 milione di token. Una configurazione MoE che riduce il costo computazionale per token, ma sposta l'attenzione su memoria, VRAM e gestione della cache KV. Per deployment on-premise, il divario tra parametri totali e attivi impone scelte precise su quantization e distribuzione del carico.

14 Oct #Hardware #LLM On-Premise #DevOps

NVIDIA Nemotron Bolt 3.5 74B: MoE in 24 GB grazie alla quantization a 2 bit

NVIDIA annuncia per il 15 ottobre Nemotron Bolt 3.5 74B A9B, un MoE da 74 miliardi di parametri (9 miliardi attivi) compresso in 24 GB con quantization a 2 bit e addestramento consapevole della quantization. L'obiettivo dichiarato è bilanciare velocità e intelligenza: più veloce dei modelli dense più diffusi e più brillante dei MoE con ingombro simile. Il 23 ottobre arriva Nemotron 3.5 Bolt E4B da 4 GB.

14 Oct #Hardware #LLM On-Premise

Open-weight cinesi a 7 mesi dai modelli USA: la trasparenza dei dati conta più del gap

Un leaderboard open source aggrega 22.113 benchmark e mostra che i modelli open-weight cinesi sono a circa sette mesi dai modelli chiusi USA. La metodologia distingue 14.436 valutazioni indipendenti da 7.677 dichiarate dai laboratori. Per chi valuta deployment on-premise, il dato rilevante non è solo il gap prestazionale: open-weight significa possibilità di self-hosted, ma con costi di VRAM, quantization e TCO da valutare.

14 Oct #Hardware #LLM On-Premise #Fine-Tuning

51 lab offline per imparare l'AI dai neuroni agli agenti

Un'app offline propone 51 laboratori pratici per capire come funziona l'AI: dai neuroni e la discesa del gradiente fino a RAG, agenti, fine-tuning, quantization e serving. L'attenzione include un piccolo transformer da 1,37 milioni di parametri, mentre i lab di training addestrano modelli a livello di carattere. Niente account né telemetria.

14 Oct #Hardware #LLM On-Premise #Fine-Tuning

LiquidAI LFM2.5-24B-A2B: 24B di parametri, 2B attivi per l'on-device

LiquidAI ha presentato LFM2.5-24B-A2B, un modello di ragionamento da 24 miliardi di parametri totali e 2,45 miliardi attivi. Pensato per agenti privati on-device, promette di competere con Qwen3.6-35B-A3B e di girare fino a 1,7 volte più veloce dei MoE comparabili, con 184 token/s su Apple M5 Max e 21K token/s su NVIDIA B300.

13 Oct #Hardware #DevOps

DeepMind ha un filosofo residente: l’etica degli LLM diventa empirica

Henry Shevlin resta a Cambridge ma ora passa l’80% del tempo in Google DeepMind come filosofo. In un colloquio con IEEE Spectrum, Shevlin lega creatività, slop, autonomia, relazioni e coscienza in un unico filo: il comportamento degli LLM cambia con contesto, prompt e temperatura. Per chi valuta deployment on-premise, il punto non è una checklist statica ma una valutazione comportamentale continua.

13 Oct #LLM On-Premise #DevOps

MiniCPM-V 4.7: il primo MoE open source con inference fluida on-device

OpenBMB ha rilasciato MiniCPM-V 4.7, modello multimodale 35B-A3B e primo MoE della serie a girare fluidamente on-device. Con Lookahead Expert Scheduling, quantization layer-wise e speculative sampling, dichiara 13+ token/s su iPhone 17 Pro Max. Supporta iOS, Android, HarmonyOS e chip Rockchip, Houmo, Intel, AMD, Arm. Offre varianti GGUF, AWQ, GPTQ e FP8, oltre a framework come vLLM, llama.cpp e Ollama.

12 Oct #Hardware #LLM On-Premise #Fine-Tuning

Boole-1.7B: la quantization a 1 bit diventa un'opzione concreta per l'on-premise

Precision Numerics debutta con Boole-1.7B, versione a 1 bit di Qwen3-1.7B da 247 MB, 13,9 volte più piccola del BF16. Conserva l'85,9% del punteggio medio su dieci task, supera Bonsai-1.7B a 1 bit e quasi eguaglia la versione a 1,58 bit. Disponibile per demo locale nel browser e per serving con vLLM o llama.cpp. Un segnale per chi valuta deployment on-premise a basso footprint.

12 Oct #Hardware #LLM On-Premise #DevOps

Intel pubblica LLM-Scaler-vLLM PV 1.5: stack Docker per LLM su GPU Arc

Gli ingegneri software di Intel hanno rilasciato LLM-Scaler-vLLM PV 1.5, uno stack Docker pensato per semplificare l'inference di LLM su hardware Intel Arc. La novità segnala un investimento software mirato a rendere le GPU discrete dell'azienda più competitive nel deployment locale, riducendo l'attrito operativo per chi valuta alternative self-hosted.

16 Oct #Hardware #LLM On-Premise #DevOps

PRISM insegna ai sistemi multi-agente a scegliere la topologia giusta per ogni query

PRISM recupera un segnale per-query da corpora di grafi verificati che non hanno ranking. Un teacher legge un grafo sibling tramite un ramo low-rank zero-initialized; lo studente allinea i target decisionali su traiettorie auto-campionate. Su sei benchmark il metodo supera le baseline di progettazione topologica. L'effetto più interessante è sui costi di inference: meno interazioni superflue tra agenti, un vantaggio concreto per chi gestisce infrastrutture self-hosted.

16 Oct #Hardware #LLM On-Premise #Fine-Tuning

DeepUnfolding Agent: il controllo adattivo diventa un servizio esterno

La piattaforma FastAPI proposta da DeepUnfolding Agent separa il controller adattivo dall'esecuzione di dominio. Gli executor registrano uno schema, inviano diagnostiche di round e ricevono azioni di controllo vincolate, con persistenza SQLite, deploy Docker e percorsi classici, quantistici e ibridi. I test citati coprono finanza, sanità, genomica, trasporti, simulazione quantistica rumorosa ed esecuzione su hardware IBM Quantum. Il risultato è un layer di controllo riutilizzabile, tracciabile e validabile a livello API.

16 Oct #Hardware #LLM On-Premise #Fine-Tuning

Mesa porta YOLOX con PyTorch sulle NPU: il driver open source avanza

Lo stack open source Mesa estende il supporto NPU: il lavoro di Tomeu Vizoso introduce YOLOX via PyTorch, portando modelli di object detection su acceleratori neurali senza SDK proprietari. Il segnale strutturale è un driver condiviso che riduce lock-in, semplifica il deployment locale e sposta l’attenzione su TCO e sovranità dei dati. Per chi valuta edge e on-premise, la notizia conta più per il cambio di incentivi che per il singolo framework.

14 Oct #Hardware #LLM On-Premise #DevOps

ROCm 10 contro Rusticl su Strix Halo: la partita open source dei driver

Un abbonato Phoronix ha chiesto benchmark aggiornati del driver OpenCL Rusticl di Mesa 26.3-dev contro il driver ufficiale AMD in ROCm 10 su Strix Halo. Al di là dei numeri, il test segnala la maturazione dei driver open source per il calcolo accelerato e la posta in gioco per chi gestisce infrastrutture on-premise.

12 Oct #Hardware #LLM On-Premise #DevOps

RTX 5060 Ti a $1.292 in Giappone: il Black Friday delle GPU è già un test

La RTX 5060 Ti da 16 GB tocca 1.292 dollari in Giappone con aumenti fino al 144%; la RTX 5080 supera i 2.400. Più che un problema di gaming, è il segnale di una domanda di VRAM contesa con l’inference locale di LLM. I prezzi finali mettono in discussione il TCO di nodi self-hosted e spingono a rivedere le alternative.

15 Oct #Hardware #LLM On-Premise #DevOps

Skeleton supera 1 miliardo con Siemens: l'energia diventa il collo di bottiglia AI

Siemens investe in Skeleton, portando la valutazione sopra il miliardo. Obiettivo: produzione USA e R&D in Silicon Valley per sistemi di alimentazione che eliminano armoniche e oscillazioni nei cluster GPU, con risparmi energetici fino al 40% e miglioramenti a doppia cifra delle prestazioni. La mossa segna lo spostamento del vincolo dalle GPU all'infrastruttura elettrica.

14 Oct #Hardware #LLM On-Premise #DevOps

Apple studia come trasformare i Mac inattivi in una cloud GPU virtuale con 'Minions'

Secondo il titolo della fonte, un gruppo di ricercatori Apple ha lavorato a un progetto chiamato Minions per aggregare Mac inattivi in una cloud GPU virtuale. I dettagli tecnici non sono disponibili, ma l'idea tocca un tema centrale: sfruttare hardware locale già presente per carichi di inference, riducendo la dipendenza da GPU cloud.

14 Oct #Hardware #LLM On-Premise #Fine-Tuning

Il kernel Linux valuta di eliminare il tag Assisted-by per le patch AI/LLM

Gli sviluppatori del kernel Linux stanno valutando di eliminare il tag Assisted-by per le patch che usano LLM. La motivazione è l'uso ormai pervasivo dell'AI nel codice. La mossa semplifica il lavoro dei contributori ma sposta il peso della verifica della provenienza su revisori e organizzazioni che gestiscono ambienti on-premise o regolamentati.

13 Oct #LLM On-Premise #DevOps

Nel 2030 il cluster GPU in casa sarà come un'arma: la provocazione che dice molto

Un post mezzo serio su Reddit immagina che nel 2030 possedere un cluster GPU in casa venga visto come avere un'arma per la difesa domestica. Il cartello 'we don't call tech support' con una V100 stilizzata diventa il simbolo di una postura: controllo locale dell'hardware e autonomia tecnica. AI-RADAR legge la provocazione come segnale culturale del self-hosted AI.

12 Oct #Hardware #LLM On-Premise

Strata: build from source e l'enigma della documentazione mancante

Un utente chiede dove trovare la documentazione per compilare Strata dai sorgenti, dopo aver scoperto che lo script setup.sh scarica un binario non verificato. La vicenda evidenzia un nodo più ampio: per chi valuta deployment on-premise o self-hosted, la differenza tra binari precompilati e build trasparenti è questione di fiducia e di sicurezza della supply chain.

12 Oct #LLM On-Premise #Fine-Tuning #DevOps

La scansione scontrini diventa on-device: un modello 0,8B sul telefono

Uno sviluppatore ha creato un'app Android gratuita che usa un modello di visione da 0,8 miliardi di parametri per leggere foto di scontrini ed estrarre negozio, data, totale e voci singole in JSON. Il modello, sottoposto a fine-tuning su ricevute, gira sul telefono senza inviare dati a terzi. I modelli saranno open source e utilizzabili con un server OpenAI-compatibile. Un caso di inference on-device pensata per la sovranità dei dati.

12 Oct #LLM On-Premise #Fine-Tuning #DevOps