Mikron, produttore russo di semiconduttori, ha lanciato una linea di souvenir insoliti: wafer di silicio incorniciati, contenenti fino a 120.000 processori di test. Disponibili in dodici design diversi e venduti a circa 170 dollari l'uno, questi oggetti d'arte da parete sono accompagnati da fiale di aria di camera bianca a 2 dollari. Un'iniziativa che celebra la microelettronica in una forma inaspettata, trasformando il cuore della tecnicia in un pezzo da collezione.
Il progetto open source `low_latency_layer` introduce un layer Vulkan implicito che estende la compatibilità di tecnicie come AMD Anti-Lag 2 e NVIDIA Reflex 2. Questa soluzione, agnostica all'hardware e progettata per Linux, consente a schede grafiche AMD e Intel di sfruttare queste funzionalità di riduzione della latenza, superando le tradizionali limitazioni legate al produttore. Rappresenta un passo verso una maggiore flessibilità nell'utilizzo dell'hardware grafico in ambienti self-hosted.
La Cina ha svelato LineShine, un supercomputer da 1.54 exaflops basato esclusivamente su CPU, equipaggiato con 2.4 milioni di core Armv9 progettati da Huawei. Questa architettura CPU-only rappresenta una risposta strategica alle restrizioni sulle GPU imposte dagli Stati Uniti, evidenziando un percorso alternativo per raggiungere elevate capacità di calcolo e rafforzare la sovranità tecnicica in settori critici come l'HPC e l'AI.
Un nuovo fork di llama.cpp risolve un problema di lunga data con il tensor parallelism, permettendo l'uso di KV cache quantizzati su configurazioni dual GPU. Questo porta a un incremento di oltre il 40% nelle prestazioni per l'inference di LLM, come dimostrato con un modello Qwen da 27B su hardware consumer. La soluzione è cruciale per chi cerca efficienza on-premise e un TCO ottimizzato.
Adlink sta puntando sull'Intelligenza Artificiale fisica, integrando l'AI direttamente in sistemi tangibili per settori critici come la robotica, la sanità e i semiconduttori. Questo approccio richiede soluzioni edge e on-premise per garantire bassa latenza, sovranità dei dati e affidabilità, ponendo nuove sfide e opportunità per l'infrastruttura hardware e il deployment.
Nuovi benchmark su hardware AMD Strix Halo esplorano le prestazioni di llama.cpp con LLM Qwen3.6, confrontando le versioni standard e MTP. I risultati evidenziano un notevole miglioramento nella generazione di token per entrambi i modelli, con il 27B-MTP che mostra un'accelerazione complessiva significativa, specialmente in scenari di chat a lungo contesto. Il modello 35B-MTP, invece, presenta un framework più sfumato, con un incremento della generazione ma un tempo totale leggermente superiore in alcuni test.
Un recente test ha dimostrato la capacità di una GPU RTX 5090, collegata tramite eGPU dock a un MacBook con chip M-series, di gestire carichi di lavoro grafici estremamente intensivi. L'esperimento, che ha visto il sistema eseguire Cyberpunk 2077 a oltre 100 FPS con impostazioni massime e frame generation, evidenzia il potenziale delle soluzioni eGPU per estendere le capacità di calcolo di piattaforme non convenzionali. Questo approccio offre spunti interessanti per scenari di deployment on-premise che richiedono flessibilità e potenza computazionale.
AMD ha rilasciato ROCm 7.13, l'ultima anteprima del suo SDK Core, che introduce il supporto per le GPU Instinct MI350P e per un numero maggiore di APU Ryzen AI. Questo aggiornamento è cruciale per gli sviluppatori e le aziende che utilizzano l'hardware AMD per carichi di lavoro di intelligenza artificiale, rafforzando l'ecosistema software in vista della futura versione ROCm 8.0 e facilitando i deployment on-premise.
Un'analisi dettagliata esplora l'efficienza energetica di una configurazione on-premise con quattro GPU NVIDIA RTX 3090 per l'inference di Large Language Models. I test rivelano un punto di massima efficienza a 220W per GPU, bilanciando throughput e consumo energetico, un dato cruciale per chi gestisce infrastrutture locali e mira a ottimizzare il TCO.
L'incontro tra l'ex presidente Trump e il presidente Xi Jinping ha toccato il tema dei 'guardrail' per l'IA, senza accordi formali. Parallelamente, le consegne di GPU NVIDIA H200 a clienti cinesi restano bloccate. Questo scenario evidenzia le complessità geopolitiche che influenzano la disponibilità di hardware critico per i Large Language Models, un fattore cruciale per le strategie di deployment on-premise e la sovranità dei dati.
L'ultima revisione della specifica Vulkan, la versione 1.4.352, porta con sé un'importante estensione proprietaria di NVIDIA: VK_NV_cooperative_matrix_decode_vector. Questa novità mira a ottimizzare le operazioni su matrici, fondamentali per i carichi di lavoro di intelligenza artificiale, inclusi l'Inference e il training di Large Language Models. L'estensione promette miglioramenti prestazionali sull'hardware NVIDIA, offrendo nuove opportunità per i deployment on-premise che richiedono efficienza e controllo.
Il supercomputer Colossus 1 di xAI, inizialmente destinato all'addestramento di Grok, è stato riallocato per carichi di lavoro di inference da Anthropic a causa della sua architettura mista inefficiente. Nel frattempo, Elon Musk sta preparando Colossus 2, una nuova infrastruttura basata esclusivamente su architettura Blackwell, pensata per l'addestramento di modelli di frontiera e con un potenziale impatto su future strategie aziendali.
Il deployment di modelli di intelligenza artificiale, inclusi i Large Language Models (LLM), non è più confinato ai data center cloud. Cresce l'interesse per l'esecuzione di carichi di lavoro AI su hardware locale o edge, spinto da esigenze di sovranità dei dati, bassa latenza e ottimizzazione del TCO. Questo approccio presenta sfide significative legate alle risorse limitate, ma apre nuove opportunità per applicazioni innovative e sicure.
Iceotope, azienda britannica specializzata in raffreddamento a liquido di precisione, ha chiuso un round di finanziamento Series B da 26 milioni di dollari. L'investimento, guidato da Barclays Climate Ventures e Two Seas Capital, mira a espandere la linea di prodotti e il portafoglio brevetti dell'azienda, rispondendo alla crescente necessità di gestire il calore generato dall'hardware AI ad alta densità, che supera le capacità dei sistemi di raffreddamento ad aria tradizionali.
Nvidia avrebbe risolto le problematiche relative alla sua prossima piattaforma Vera Rubin, con la filiera produttiva che punta a un'accelerazione delle consegne nel terzo trimestre del 2026. Questa tempistica è cruciale per le aziende che pianificano l'adozione di infrastrutture AI on-premise, influenzando la disponibilità e la strategia di deployment per i carichi di lavoro più esigenti e la gestione del TCO.
Nel panorama dell'AI on-premise, emerge un interesse crescente per le GPU modificate provenienti dalla Cina, come le varianti della RTX 4090 con 48GB di VRAM. Nonostante l'attrattiva di una maggiore memoria per i Large Language Models, la carenza di informazioni affidabili in inglese solleva interrogativi cruciali su compatibilità software, stabilità, affidabilità a lungo termine e performance reali. La comunità tech cerca risposte per valutare l'effettiva praticabilità di queste soluzioni.
Foxconn sta compiendo un passo strategico significativo, passando dalla fase di validazione a quella di commercializzazione per server AI, robotica, veicoli elettrici e satelliti LEO. Questa mossa sottolinea l'impegno dell'azienda nell'espandere la propria influenza oltre la manifattura tradizionale, puntando su settori ad alta crescita e intensità tecnicica, con implicazioni dirette per le strategie di deployment on-premise e la disponibilità di hardware specializzato.
`llama.cpp` ha rilasciato la versione `b9158`, introducendo un'importante ottimizzazione per Flash Attention specificamente mirata all'architettura GPU RDNA3 di AMD. Questo aggiornamento promette di migliorare significativamente le performance e l'efficienza nell'esecuzione di Large Language Models (LLM) su hardware AMD, rafforzando le capacità di deployment on-premise per gli sviluppatori e le aziende che puntano su soluzioni self-hosted.
L'accelerazione dei server AI sta spingendo l'industria verso tecnicie PCB sempre più avanzate. Questo sviluppo è cruciale per chi gestisce carichi di lavoro di Large Language Models (LLM) on-premise, influenzando direttamente la capacità di elaborazione, la gestione termica e i costi operativi. L'articolo esplora le implicazioni di questa transizione per le infrastrutture self-hosted, evidenziando come la scelta delle tecnicie PCB diventi parte integrante della strategia di deployment.
Nan Ya PCB sta intensificando la produzione di substrati per circuiti integrati di fascia alta, rispondendo alla crescente domanda del mercato dell'intelligenza artificiale. Questa mossa strategica sottolinea l'importanza dei componenti hardware avanzati per supportare i carichi di lavoro intensivi degli LLM, con implicazioni dirette per le architetture di deployment on-premise che richiedono prestazioni e affidabilità elevate.