Questa sezione Hardware segue il lato pratico dell'infrastruttura AI locale: GPU, NPU, mini PC, acceleratori edge, banda memoria e compromessi energetici che incidono direttamente sulle prestazioni in inferenza. Privilegiamo aggiornamenti con benchmark e note operative utili a decisioni reali, dal laboratorio domestico ai cluster pilota in azienda. Qui puoi confrontare costo totale, vincoli termici e scenari modello-hardware, poi approfondire con la guida pillar hardware e la copertura LLM collegata.
PC Partner avverte che i prezzi delle GPU continueranno a salire e che le schede economiche scarseggeranno. Un analista suggerisce che i produttori stiano alzando i listini oltre l'aumento dei costi della memoria. Per chi valuta deployment on-premise di LLM, questo tocca TCO e disponibilità di hardware con VRAM limitata.
Il ciclo Linux 7.2 per ARM64 si era chiuso senza funzionalità reali, vittima del caos nelle patch AI/LLM. Con Linux 7.3 arrivano nuove feature ARM64, tra cui BBML3 e workaround per NVIDIA Olympus. Un segnale di maturità per l'ecosistema ARM64, che interessa chi valuta server self-hosted per LLM: la stabilità del kernel conta quanto l'accelerazione hardware.
Indiscrezioni indicano che Google starebbe collaborando con AMD per il design della prossima generazione di TPU, un ASIC ibrido che potrebbe integrare core CPU on-package per il reinforcement learning. Una mossa che ridisegna i rapporti nel silicio custom e solleva interrogativi sull'evoluzione hardware per chi valuta infrastrutture AI locali.
Un checkpoint Hugging Face esegue il rendering di Doom tramite un'architettura Phi3ForCausalLM senza addestramento: pesi calcolati da un compilatore, prompt con geometria e direzione, fino a 53.747 token generati per frame a 320x200. Il modello da 34 GB richiede circa 80 GB di VRAM in fp32; l'autore non lo ha testato in locale.
AMD e Meta hanno portato nel mainline PyTorch le ottimizzazioni FP8 per GPU Instinct: +13,4% su Llama3-8B, recupero dell'89% dell'overhead su DeepSeek-V3 671B e kernel 6,2× più rapidi. L'integrazione elimina la necessità di stack proprietari e rende l'addestramento on-premise su hardware AMD più competitivo.
Il raddoppio del prezzo di listino della RTX PRO 6000 Blackwell, da meno di 8.000 a 16.000 dollari, segnala una domanda enterprise anelastica e un potere di prezzo che ridisegna i calcoli TCO per l'on-premise. La scheda da 96 GB di VRAM diventa un filtro: cloud, sovranità dei dati e accesso degli sviluppatori cambiano. Servono scenari, non budget basati sui vecchi listini.
La scheda professionale da 96 GB passa da un preordine sotto gli 8.000 dollari a un MSRP di 16.000. Un segnale sui costi dell'inference self-hosted e sulla pressione che spinge le aziende private a spendere il doppio per GPU. Per chi valuta server locali, il TCO si complica.
George Hotz presenta con Comma.ai e Tinygrad due dock: il Tiny Chestnut e il Chestnut, quest'ultimo con AMD Radeon RX 9060 da 8GB. Entrambi collegano PCIe Gen4 x4 a USB4 e girano su firmware open source. Una mossa che sposta l'apertura dal software allo strato hardware, con effetti su auditabilità e self-hosted.
Le patch per il kernel Linux abilitano il supporto al GMUX Apple sui portatili di fine anni Dieci. Un miglioramento che, oltre alla gestione energetica, interessa chi trasforma queste macchine in nodi di inference on-premise riutilizzando hardware datato.
Arriva LACT 0.10, l’utility Linux per il controllo GPU. Nuove funzioni per l’overclock NVIDIA e il sensore hotspot delle Blackwell segnalano un ecosistema che matura: sempre più critico per chi gestisce carichi AI on-premise e deve bilanciare prestazioni, termiche e costi operativi.
Al summit OCP APAC 2026, AMD ha lanciato un segnale destinato a ridisegnare l'architettura dei datacenter: la diffusione degli agenti IA spingerà i server verso un equilibrio tra CPU e GPU. Se oggi il rapporto è sbilanciato a favore dei coprocessori grafici, con gli agenti la domanda di calcolo general-purpose tornerà centrale. Questo spostamento promette di abbassare le barriere per i deployment on-premise e di ridefinire la spesa infrastrutturale.
Il driver DRM Nova, successore di Nouveau, riceve nuove funzionalità per il kernel Linux 7.3. Scritto in Rust, punta a offrire un supporto open-source alle GPU NVIDIA. Analizziamo cosa significa per chi lavora con AI on-premise e stack auto-gestiti.
Un modello aperto di DeepMind, pubblicato su Nature, migliora le previsioni dei cicloni con un giorno di anticipo, ma la vera sorpresa è che gira su una NVIDIA H100. Il codice è su GitHub, segnando un punto di svolta per l'inference locale di modelli meteo complessi.
Un modder ha portato il raffreddamento a liquido direttamente sul silicio di una RTX 2060 Super con un blocco stampato in 3D. Nonostante perdite iniziali, la temperatura in pieno carico è scesa a 28°C. L’esperimento accende i riflettori su un aspetto strategico per l’inference LLM on-premise: abbattere il thermal throttling su GPU consumer può far risparmiare, ma l’affidabilità della tenuta resta il nodo critico.
Una manciata di righe di codice in llama.cpp moltiplica fino a 2,7 volte le prestazioni delle GPU Intel Battlemage su contesti di 118.000 token quando la cache KV è quantizzata. Il guadagno è talmente netto da trasformare una scheda da gaming in un’alternativa concreta per l’inference locale di modelli da 35 miliardi di parametri, abbattendo il costo totale di possesso e aprendo scenari inediti per chi gestisce dati sensibili on-premise.
Una PR di llama.cpp modifica il dispatch SYCL da VEC a TILE per cache KV quantizzate, portando a un incremento fino al 169% nella velocità di decodifica su GPU Intel Battlemage a contesti lunghi. I test mostrano guadagni significativi già a 32K, aprendo prospettive per deployment on-premise a costi ridotti con hardware Intel.
Un appassionato con RTX 5090, Ryzen 9 9950X3D e 64 GB di RAM addestra modelli AI da zero per divertimento, testando le idee di nuovi paper come Titans e le memorie engram di Deepseek. Un fenomeno che non è solo un passatempo: le GPU consumer stanno trasformando le workstation casalinghe in ambienti che anticipano logiche di deployment on-premise aziendale, tra sovranità dei dati, controllo e TCO.
La tecnicia di raffreddamento a getto liquido promette di abbassare le temperature delle GPU di nuova generazione e di aumentare le prestazioni. I grandi fornitori cloud valutano l’uso di GPU ‘delidded’ nei data center, segnando un punto di svolta per il deployment on-premise e il controllo della spesa energetica.
AMD ha rilasciato un nuovo set di aggiornamenti per i suoi driver display AMDGPU DC su Linux, introducendo correzioni per il supporto HDMI FRL e l'implementazione di HDMI 2.1. Questi sviluppi, destinati al driver open-source, includono anche un'opzione per disabilitare il supporto display DCE su GPU meno recenti, segnalando un impegno verso la stabilità e la gestione dell'hardware legacy, cruciale per le strategie di deployment on-premise.
Un team di ricerca propone circuiti digitali capaci di auto-assemblarsi e riorganizzarsi dinamicamente intorno a guasti hardware, imitando la plasticità adattiva biologica. Utilizzando un Transformer che configura le Lookup Table delle porte booleane, il sistema recupera funzionalità con precisione superiore al 99,99% anche da danni mai visti in addestramento. Per chi gestisce infrastrutture on-premise, questa tecnicia potrebbe ridurre la necessità di ridondanza hardware e abbattere i costi di manutenzione.