Questa sezione Hardware segue il lato pratico dell'infrastruttura AI locale: GPU, NPU, mini PC, acceleratori edge, banda memoria e compromessi energetici che incidono direttamente sulle prestazioni in inferenza. Privilegiamo aggiornamenti con benchmark e note operative utili a decisioni reali, dal laboratorio domestico ai cluster pilota in azienda. Qui puoi confrontare costo totale, vincoli termici e scenari modello-hardware, poi approfondire con la guida pillar hardware e la copertura LLM collegata.
La dichiarazione del CEO di Arm segnala un possibile spostamento dell'infrastruttura AI verso architetture CPU, con implicazioni rilevanti per chi gestisce carichi di lavoro in locale, dove efficienza energetica e sovranità dei dati contano più dei picchi di petaflop.
La configurazione predefinita del kernel RISC-V in Linux 7.2 aggiunge il supporto per UltraRISC, dopo Eswin. Un dettaglio tecnico che segnala la maturità dell’ecosistema RISC-V e porta con sé prospettive concrete per l’inference on-premise, riducendo la dipendenza da architetture chiuse.
Un progetto open source porta l'intera pipeline di Hunyuan3D su Apple Silicon e iOS, sfruttando MLX per inference in FP16 con picchi sotto i 6 GB di memoria. Le prime prove su M4 Max mostrano tempi inferiori ai 21 secondi per la geometria e, con quantization Q4/Q8, la promessa di esecuzione persino su iPhone. L'approccio aggira l'overhead di PyTorch e ribadisce la potenza dell'architettura a memoria unificata per carichi AI locali.
L'iniziativa Harmonic Firmware (HFI) mira a fornire un'esperienza di avvio unificata per le schede RISC-V, simile al BIOS x86 con schermata POST e utility di configurazione. Un tassello di maturità che riduce la frammentazione e apre la strada a hardware completamente aperto per l'inference locale, abbassando le barriere per chi cerca sovranità sui dati e controllo dello stack.
Una patch di tre linee per llama.cpp corregge un errore di precisione che affliggeva da anni le GPU Tesla P100, migliorando la fedeltà dei calcoli di oltre 2000 volte senza impatto prestazionale. La scoperta ridisegna il rapporto costo-efficacia di queste schede da 80 dollari per l’inference on-premise, solleva interrogativi sulla verifica dell’aritmetica a basso livello nei framework open-source e rafforza il legame tra controllo dello stack e qualità del modello.
Per anni le GPU Tesla P100 hanno eseguito calcoli FP16 viziati in llama.cpp, con una divergenza KL mediana 2000 volte superiore al dovuto e un accordo sul token successivo fermo al 96,5%. Una patch di tre linee, disponibile su turboquant, ripristina la precisione di riferimento senza alcun costo prestazionale. Il fix rivaluta il profilo economico della P100 per l'inference on-premise, ridimensionando il sovrapprezzo della P40 e sollevando interrogativi sulla copertura dei test per l'hardware datato nei framework LLM.
L'industria ha corso per anni dietro ai FLOPS. Oggi il vincolo reale per LLM e inference è la capacità e la banda di memoria. I produttori lo sanno e stanno riorientando le roadmap hardware. Per chi valuta deployment on-premise, la memoria diventa il fattore dirimente.
Secondo fonti vicine all’azienda, DeepSeek sta lavorando a un processore AI proprietario, segnando un passo strategico verso l’autosufficienza tecnicica e il controllo della pipeline inferenziale.
Due NVIDIA P102-100 da mining, acquistabili per circa 100 dollari, fanno girare Qwen 35B con llama.cpp servendo tre utenti in parallelo a 23 token al secondo. Un dimostratore di come l'inference on-prem possa diventare accessibile grazie al supporto CUDA 12.x mantenuto dal framework.
La denuncia coinvolge l’ex VP Apple Tang Tan e l’ingegnere Chang Liu, ora in OpenAI. Al centro c’è il controllo dell’hardware per LLM su scala: la posta in gioco è la sovranità computazionale e il TCO dell’inference self-hosted.
Newegg propone a $520 un pacchetto con Ryzen 5 9600X, 16GB DDR5, motherboard B650 e dissipatore AIO da 240 mm. Più che un affare per il gaming, il bundle segnala un cambio di strategia nella distribuzione e un punto d’ingresso per chi vuole sperimentare con l’inference locale, nonostante alcune scelte di raffreddamento discutibili.
La release candidate Linux 7.3-rc3 introduce un fix per il rilevamento dei display nei sistemi con più GPU. Il miglioramento evita blocchi all’avvio e rende più affidabili le macchine usate per l’AI on-premise, dove la diagnosi remota è essenziale. Un dettaglio tecnico che riflette la maturazione del kernel Linux per carichi di lavoro enterprise e riduce i costi nascosti di gestione.
Un esperimento con codice C++ e CUDA su misura porta un modello MoE da 30 miliardi di parametri a superare 50 token al secondo su una GPU consumer con 16 GB di VRAM. Il motore garlic-inference supera llama.cpp del 50%, mostrando margini di ottimizzazione ancora inesplorati per l'inference self-hosted e rafforzando la tesi di un’alternativa concreta al cloud.
Apple ha citato in giudizio OpenAI in un tribunale federale della California, accusandola di aver utilizzato dipendenti attuali ed ex per rubare progetti hardware mentre prepara dispositivi AI consumer. Nella denuncia compaiono il chief hardware officer Tang Tan e l'ex ingegnere Apple Chang Liu. La vicenda mette in luce la posta in gioco della progettazione hardware nell'era dell'IA e solleva interrogativi sulla catena di fornitura per i deployment on-premise.
Un ingegnere Arm ha integrato in Mesa una modifica che abilita per impostazione predefinita il supporto di Rusticl per i driver Panfrost delle GPU Mali. L’intervento elimina la necessità di variabili d’ambiente manuali, democratizzando il calcolo GPGPU su hardware Arm a basso costo. Un passo che ridisegna le possibilità per l’inference locale di LLM, con vantaggi in termini di sovranità dei dati e riduzione del TCO per i carichi edge.
Secondo Geckos, il prossimo balzo prestazionale nell’intelligenza artificiale arriverà dai materiali, non dall’architettura dei chip. La tesi apre interrogativi su chi dominerà la filiera hardware e su come evolveranno le infrastrutture on-premise per LLM. Mentre la legge di Moore rallenta, l’innovazione nei substrati, nelle interconnessioni e nella memoria potrebbe ridefinire TCO e sovranità dei dati.
L'azienda taiwanese Bellwether trasforma il design dei propri connettori per applicazioni ad alta corrente in un fossato di licenze brevettuali. Una mossa che ridisegna gli equilibri nella componentistica per server AI e impone nuovi calcoli sul TCO per chi sceglie infrastrutture on-premise.
Apple accusa OpenAI di aver incoraggiato ex dipendenti a portare con sé prototipi riservati, presentazioni confidenziali e dettagli critici sulla catena di fornitura. Una battaglia legale che mette in luce la posta in gioco per chi sviluppa hardware AI proprietario e il suo impatto sulle strategie di deployment on-premise e la sovranità tecnicica.
Un rumor su un nuovo SKU consumer riapre il dibattito sull'uso delle GPU GeForce per fare inference LLM in locale. Senza specifiche ufficiali, AI-RADAR analizza perché ogni variante della fascia alta impatta VRAM, TCO e accessibilità del self-hosting.
Un viaggio nel centro di collaudo termico ASUS rivela come i server per l’AI vengono spinti al limite per garantirne affidabilità e durabilità. Un aspetto decisivo per chi valuta il self-hosting di carichi LLM, dove il controllo diretto sull’hardware è irrinunciabile.