Questa sezione Hardware segue il lato pratico dell'infrastruttura AI locale: GPU, NPU, mini PC, acceleratori edge, banda memoria e compromessi energetici che incidono direttamente sulle prestazioni in inferenza. Privilegiamo aggiornamenti con benchmark e note operative utili a decisioni reali, dal laboratorio domestico ai cluster pilota in azienda. Qui puoi confrontare costo totale, vincoli termici e scenari modello-hardware, poi approfondire con la guida pillar hardware e la copertura LLM collegata.
Il progettista taiwanese di SoC Sonix Technology segna una ripresa delle consegne spinta dalla domanda di dispositivi medicali e multimediali, mentre la strategia sui droni guadagna trazione. Un segnale chiaro: l’inference AI si sposta sempre più all’edge, dove contano latenza, privacy e costo energetico.
Il governo sudcoreano spinge per un mega-polo di semiconduttori nella regione sud-occidentale, ma tra carenza di talenti, costi infrastrutturali e tensioni geopolitiche il progetto deve ancora superare scogli decisivi. Per chi distribuisce LLM on-premise, la posta in gioco è la futura disponibilità di hardware accelerato.
La nuova tecnicia di interconnessione di Intel punta a scalfire il dominio di CoWoS nel packaging per chip ad alte prestazioni, con possibili ripercussioni sugli acceleratori per LLM on-premise.
BOE, gigante cinese dei display, esplora il packaging per chip AI con interconnessioni ottiche Micro LED e co-packaged optics su vetro. L’obiettivo: densità, efficienza e scalabilità per data center, con possibili ricadute sul deployment on-premise.
L'impennata della domanda di server AI sta generando effetti a catena sulla catena di fornitura: gli ordini per i circuiti integrati di gestione dell'alimentazione (PMIC) si allargano a nuovi fornitori, segnalando colli di bottiglia. Un campanello d'allarme per chi pianifica deployment on-premise.
Shanghai Orient Computing Core Technology, fondata da un veterano dell’industria dei chip formatosi alla Tsinghua, sviluppa processori AI tridimensionali con l’obiettivo di ridurre la dipendenza cinese dalle GPU estere. La mossa si inserisce nel framework delle restrizioni all’export statunitense e della corsa alla sovranità tecnicica.
La startup Anthropic sta esplorando processori personalizzati con Samsung come partner produttivo. La mossa, ancora informale, riflette la ricerca di alternative all’hardware Nvidia e ha implicazioni per chi valuta deployment on-premise di LLM, tra TCO e sovranità dei dati.
Uno sviluppatore ha creato una patch CUDA per llama.cpp che permette a DeepSeek V4 Flash di operare con un contesto di un milione di token su una singola RTX 5090, riducendo la VRAM necessaria da circa 256 GB a soli 31 GB e raggiungendo velocità di prefill fino a 263 token al secondo. Validato con test di needle-in-haystack, il risultato segna un punto di svolta per il deployment on-premise di modelli a lunghissimo contesto.
Samsung ha raggiunto una resa produttiva superiore al 70% per le memorie HBM4E di nuova generazione, alzando la posta contro SK Hynix e Micron. Il risultato segnala una maturità manifatturiera che può ampliare la disponibilità di banda passante per gli acceleratori AI, risorsa critica per l'inference e l'addestramento di Large Language Model. Per chi valuta infrastrutture on-premise, una supply più solida incide su costi e vincoli di deployment.
La società nipponica riorienta gli investimenti in semiconduttori verso due mercati chiave: l'elaborazione per l'intelligenza artificiale nei data center e la mobilità elettrica. Una mossa che segnala la crescente convergenza tra calcolo ad alte prestazioni ed elettrificazione.
Anthropic ha avviato trattative con Samsung Electronics per la produzione di un chip AI personalizzato. Il progetto è alle fasi iniziali e non sono ancora stati definiti utilizzo, potenza o architettura server. La mossa si inserisce in una tendenza di integrazione verticale tra i principali attori dell’AI, con implicazioni potenziali per il deployment on-premise di LLM: efficienza migliorata, ma interrogativi sull’accessibilità di tale hardware per i clienti enterprise.
Anthropic avrebbe avviato colloqui con Samsung per un chip custom destinato ai propri LLM. La mossa segue di pochi giorni l’annuncio di OpenAI con Broadcom e segnala un’accelerazione verso il silicio proprietario nel settore AI. Per i deployment on-premise, l’arrivo di acceleratori su misura può ridefinire i calcoli di TCO e sovranità, ma introduce nuove complessità di integrazione e compatibilità.
Un investimento da record ridefinisce la supply chain della memoria: il colosso sudcoreano punta su NAND e DRAM per sostenere la domanda di infrastrutture AI. Le implicazioni per chi gestisce cluster on-premise, tra HBM, TCO e colli di bottiglia.
Un dissipatore ad aria per CPU dal prezzo aggressivo ma dalla rumorosità elevata. Per chi assembla macchine per l'inference locale o workstation on-premise, il compromesso tra costo e silenziosità diventa un fattore cruciale.
Intel ha inviato le prime patch per il compilatore GCC relative alle AI Compute Extensions (ACE), il set di istruzioni per l’AI sviluppato con AMD. Successore cross-vendor delle Advanced Matrix Extensions, ACE punta a velocizzare i carichi di machine learning sulle CPU. L’iniziativa avvicina un’accelerazione nativa dell’inference on-premise senza dipendere da GPU dedicate.
Le pagine ufficiali delle Core Ultra 270K Plus e 250K Plus mostrano prezzi raccomandati più alti di 50 dollari. Una mossa che segnala pressioni sui costi e impatta chi assembla workstation per inference locale di LLM.
La deep-tech norvegese ha ottenuto il finanziamento guidato da Nysnø Climate Investments, Sandwater e Emerald per portare sul mercato motori sempre più piccoli e performanti. Un segnale per la robotica e l’AI on-device.
La startup di Raja Koduri, Oxmiq Labs, ha chiuso un round Series A da 35 milioni di dollari per scalare OxCore, un'architettura GPU licenziabile che permette ai chipmaker di creare silicio AI custom senza un intero ciclo di progettazione pluriennale. Il capitale totale raccolto sale a 60 milioni.
L’azienda coreana costruirà un impianto per memorie NAND a Cheongju, con produzione attesa nel 2029. L’investimento segnala come l’AI non spinga solo la domanda di bandwidth (HBM), ma anche quella di storage veloce e capiente per dataset e workload on-premise.
Le dimissioni del presidente Yu Yingtao aprono una nuova fase per il vendor cinese H3C, che accelera sul fronte dei server AI. Un segnale di come la domanda di infrastrutture on-premise per LLM stia ridisegnando le strategie dei fornitori ICT, tra esigenze di sovranità e controllo della filiera.