Un'analisi tecnica rivela che 12GB di VRAM, come quelli offerti da una RTX 3060, rappresentano un punto di equilibrio ideale per l'esecuzione locale del modello LLM Qwen 35B-A3B. Questa configurazione permette di mantenere un numero sufficiente di blocchi MoE sulla GPU, garantendo buone prestazioni di decoding e supportando contesti ampi fino a 32k token, un aspetto cruciale per i deployment on-premise che cercano efficienza e controllo.
Nonostante le iniziali critiche sulle specifiche hardware del DGX Spark, in particolare riguardo alla larghezza di banda della memoria e al chip SM-121, la sua community di sviluppatori sta dimostrando un'eccezionale tenacia. Attraverso un forum dedicato, i membri collaborano attivamente per ottimizzare ogni aspetto della piattaforma, migliorando le performance di inference e lo stack software. Questo sforzo collettivo mira a superare i limiti percepiti, trasformando le sfide tecniche in opportunità di innovazione e sviluppo di progetti specifici, sfruttando la coerenza dell'hardware e del sistema operativo.
HP ha aggiornato la sua workstation Z6 G5 A, ora equipaggiata con i processori AMD Ryzen Threadripper PRO 9000 e le GPU NVIDIA RTX PRO Blackwell. Questo sistema, già noto per la sua compatibilità con Linux, offre prestazioni elevate per carichi di lavoro AI e LLM, posizionandosi come una soluzione robusta per deployment on-premise che richiedono controllo e sovranità dei dati.
Nvidia sta investendo in soluzioni di raffreddamento avanzate per l'intelligenza artificiale, un passo cruciale per gestire il calore generato dai potenti acceleratori GPU. Questa strategia è fondamentale per sostenere le crescenti esigenze di calcolo degli LLM e dei carichi di lavoro AI, influenzando direttamente la progettazione dei data center e il TCO per i deployment on-premise.
Coherent Corp. ha annunciato che il suo portafoglio ordini si estende fino al 2030, con una forte domanda per ottiche 1.6T e capacità produttiva di semiconduttori InP da 6 pollici. Questo indica una crescita sostenuta nelle infrastrutture di rete e di calcolo, cruciali per i carichi di lavoro AI e LLM, e suggerisce tempi di consegna prolungati per componenti chiave.
La taiwanese Skymizer ha annunciato la HTX301, una scheda PCIe progettata per l'inference AI on-premise. Il dispositivo si distingue per i suoi 384GB di memoria e un consumo energetico di circa 240 Watt, posizionandosi come una soluzione mirata a soddisfare le esigenze di sovranità dei dati e controllo infrastrutturale per i carichi di lavoro LLM.
La scarsità di hardware con elevata memoria unificata, come i chip M3 di Apple da 512GB o 256GB, sta creando difficoltà per chi intende eseguire Large Language Models (LLM) in locale. Questa situazione spinge sviluppatori e aziende a riconsiderare le strategie di deployment on-premise, valutando alternative come l'inference su CPU e i relativi compromessi in termini di performance e latenza. La dipendenza da specifici componenti hardware evidenzia l'importanza di una pianificazione resiliente per la sovranità dei dati e il TCO.
Un professionista sta valutando due versioni del modello Qwen3.6, una dense da 27 miliardi di parametri e una MoE da 35 miliardi, per carichi di lavoro di coding e agenti su una GPU RTX 5080 con 16GB di VRAM. La sfida è ottimizzare le performance, la gestione del contesto esteso e la qualità dell'output in un ambiente self-hosted, considerando i trade-off tra efficienza dei parametri attivi e consistenza dei modelli dense, il tutto con vincoli di spazio su disco.
AMD ha annunciato la scheda acceleratrice AI Instinct MI350P in formato PCIe. Dotata di 144GB di memoria HBM3E, questa nuova soluzione promette un incremento prestazionale teorico di circa il 40% nelle operazioni FP16 e FP8 rispetto al concorrente Nvidia H200 NVL. L'introduzione della MI350P rafforza l'offerta di AMD nel segmento degli acceleratori per carichi di lavoro di intelligenza artificiale, mirando a soddisfare le esigenze di deployment on-premise e cloud.
AMD si prepara a introdurre una nuova GPU con fattore di forma PCIe, potenzialmente ampliando le opzioni hardware per le implementazioni di Large Language Models (LLM) in ambienti self-hosted. L'attenzione del mercato si concentra sul posizionamento di prezzo e sulle specifiche tecniche che potrebbero renderla una soluzione competitiva per l'inference LLM on-premise, offrendo alternative ai professionisti che gestiscono infrastrutture locali.
Il kernel Linux 7.2 introdurrà il supporto nativo per il controller Realtek RTL8159, un componente chiave per gli adattatori di rete USB 10GbE. Questa integrazione eliminerà la necessità di driver esterni, semplificando l'adozione di soluzioni di connettività ad alta velocità, disponibili anche a costi contenuti, per server e workstation. L'aggiornamento è atteso per l'estate, migliorando stabilità e gestione per i deployment on-premise.
Una riorganizzazione del codice del driver AMD RadeonSI Gallium3D è stata integrata in Mesa 26.2-devel. L'obiettivo è separare le funzionalità grafiche da quelle di accelerazione multimediale, consentendo la creazione di driver specifici per carichi di lavoro multimediali. Questa mossa ottimizza le risorse e riduce il footprint software, con implicazioni positive per deployment on-premise e sistemi embedded, dove l'efficienza è cruciale.
Lian Li presenta la DK07 Wood, una scrivania motorizzata che integra un chassis per due sistemi PC completi, compatibile con schede madri E-ATX e configurazioni di raffreddamento avanzate. Questa soluzione offre un ambiente di lavoro ergonomico e una potente piattaforma hardware in un unico elemento d'arredo, ideale per professionisti e sviluppatori che necessitano di elevate capacità di calcolo on-premise.
AMD ha annunciato il nuovo acceleratore Instinct MI350P, basato sull'architettura CDNA 4 e disponibile in formato PCIe. Questa introduzione è significativa per le aziende che considerano il deployment di Large Language Models (LLM) on-premise, offrendo nuove opzioni hardware per l'inference e il training. Sebbene i dettagli su prezzi e disponibilità non siano ancora stati rivelati, l'arrivo di nuove soluzioni PCIe rafforza il panorama delle infrastrutture locali, cruciale per la sovranità dei dati e il controllo sui carichi di lavoro AI.
Google ha svelato Fitbit Air, un nuovo wearable privo di schermo che si integra con l'app Google Health. Il dispositivo, un piccolo "puck" di plastica, si concentra sulla raccolta continua di dati biometrici, offrendo un'autonomia di circa una settimana e la capacità di memorizzare informazioni offline. L'app complementare introduce anche un coach per la salute basato su AI, segnando un ritorno alla filosofia dei tracker essenziali.
AMD ha presentato la Instinct MI350P, una scheda PCIe progettata per estendere le capacità di calcolo della serie MI350 ai server esistenti con slot PCIe 5.0 e raffreddamento ad aria. Questa soluzione si propone come alternativa ai moduli OAM, offrendo flessibilità per i deployment on-premise di carichi di lavoro AI e di calcolo ad alte prestazioni, con un focus sull'ecosistema Open Source.
AMD ha introdotto l'acceleratore Instinct MI350P, una versione PCIe dei suoi chip MI350. Progettato per server tradizionali, questo nuovo componente integra l'architettura CDNA 4, offrendo capacità di accelerazione AI avanzate in un formato compatibile con infrastrutture esistenti. Il MI350P si presenta come una soluzione per le aziende che necessitano di potenza di calcolo AI on-premise senza stravolgere l'architettura dei propri data center.
Il ciclo di sviluppo di Linux 7.1 segna l'inizio della dismissione del supporto per i processori Intel 486 e, di conseguenza, per i System-on-Chip AMD Elan risalenti agli anni '90. Questa mossa, che ha già visto la rimozione delle opzioni di configurazione Kconfig, prelude alla successiva eliminazione del codice driver effettivo, evidenziando l'evoluzione e la pulizia del kernel da architetture obsolete.
Quantum Motion, spin-out britannica specializzata in computer quantistici full-stack basati su tecnicia a chip di silicio, ha chiuso un round di finanziamento Series C da 160 milioni di dollari. L'azienda, che ha superato i 200 milioni di dollari di capitale raccolto, mira a commercializzare la propria offerta e a espandere la ricerca e sviluppo. L'approccio al silicio promette riduzioni significative di costi, spazio e consumo energetico, posizionando l'azienda come leader nel settore quantistico del Regno Unito.
AMD sta preparando il terreno per le sue NPU AIE4 di prossima generazione, integrando il supporto nel kernel Linux 7.2. Un recente sviluppo include una serie di patch per abilitare la tecnicia SR-IOV, fondamentale per la virtualizzazione e l'allocazione efficiente delle risorse hardware. Questa mossa sottolinea l'importanza di soluzioni flessibili per i carichi di lavoro AI, specialmente in contesti on-premise dove il controllo e l'ottimizzazione delle risorse sono prioritari.