L'idea di combinare più GPU per potenziare carichi di lavoro specifici ha radici nel gaming con tecnicie come PhysX. Sebbene approcci come SLI siano superati, il principio di sfruttare architetture multi-GPU è più che mai attuale nel contesto dell'inference e del training di Large Language Models (LLM) on-premise. Questo articolo esplora come le lezioni del passato informino le strategie moderne per ottimizzare performance e TCO in ambienti self-hosted.
NVIDIA ha rilasciato le nuove versioni beta dei driver Vulkan per Linux (595.44.06) e Windows (595.46). Questi aggiornamenti introducono miglioramenti significativi nelle performance e proseguono lo sviluppo del supporto per i descriptor heaps, elementi cruciali per l'efficienza delle applicazioni grafiche e di calcolo. Tali ottimizzazioni sono particolarmente rilevanti per i carichi di lavoro intensivi come l'inference di Large Language Models (LLM) su infrastrutture on-premise.
Apple ha segnalato carenze per i suoi Mac Studio e Mac mini, con previsioni di durata per mesi. La crescente domanda legata al boom dell'intelligenza artificiale locale e una carenza di memoria sono le cause principali. Questo scenario evidenzia come l'interesse per i deployment AI on-premise stia superando la capacità produttiva di hardware chiave, influenzando le strategie di aziende e sviluppatori che puntano su soluzioni self-hosted.
AMD ha rilasciato patch ufficiali per il suo driver grafico AMDGPU su Linux, introducendo il supporto per HDMI Fixed Rate Link (FRL). Questa implementazione, sebbene non costituisca il supporto completo a HDMI 2.1, è un passo significativo. La tecnicia FRL, parte dello standard HDMI 2.1+, consente una maggiore larghezza di banda, fondamentale per gestire risoluzioni più elevate e frequenze di aggiornamento superiori, migliorando l'esperienza visiva su sistemi Linux equipaggiati con hardware AMD.
ASML, attore chiave nella produzione di semiconduttori, delinea la sua roadmap per le tecnicie di litografia, dal DUV all'EUV avanzato. Questi progressi sono fondamentali per lo sviluppo di chip sempre più potenti, essenziali per l'inference e il training di Large Language Models. L'evoluzione di strumenti come il Twinscan EUV influenza direttamente le capacità hardware disponibili per i deployment on-premise, impattando TCO e sovranità dei dati.
Intel ha condiviso nuovi dettagli sul suo nodo di processo 18A-P, evidenziando progressi significativi. Le innovazioni promettono un incremento del 9% nelle prestazioni e un miglioramento del 50% nella conduttività termica, fattori cruciali per ridurre il consumo energetico e ottimizzare la gestione del calore. Questi sviluppi sono particolarmente rilevanti per l'infrastruttura AI on-premise, dove efficienza e TCO sono prioritari per i carichi di lavoro più esigenti.
Intel sta sviluppando attivamente il supporto driver Linux per Crescent Island, la sua prossima scheda grafica Xe3P ottimizzata per l'inference AI in ambito enterprise. Con 160GB di VRAM, Crescent Island mira a soddisfare le esigenze di carichi di lavoro AI complessi, offrendo una soluzione hardware dedicata per deployment on-premise che privilegiano la sovranità dei dati e il controllo infrastrutturale.
Documenti di bilancio del Pentagono rivelano l'intenzione di sviluppare sistemi d'arma laser containerizzati con potenza superiore a 300kW. Il Joint Laser Weapon System, progettato per intercettare missili da crociera, rientra nell'iniziativa di difesa missilistica Golden Dome, un programma da 17,9 miliardi di dollari. L'enfasi è su soluzioni ad alta energia e deployabili in contesti operativi.
Un recente aggiornamento descrive la finalizzazione di un cluster on-premise composto da 16 unità Nvidia DGX Spark. L'implementazione, sebbene impegnativa, ha permesso di raggiungere una connettività di rete a 200 Gbps per nodo. La scelta di questa configurazione è motivata dalla ricerca di una capacità di memoria unificata massimizzata, fondamentale per carichi di lavoro LLM specifici, come dimostrato dal deployment di un modello da 434 GB.
Advantest, leader nel testing di semiconduttori, ha superato le aspettative grazie alla domanda di chip AI. Nonostante i buoni risultati, le prospettive future più caute hanno influenzato il valore delle azioni. Questo scenario evidenzia la complessità del mercato hardware AI e le sue implicazioni per le strategie di deployment on-premise, dove la qualità e la disponibilità dei componenti sono cruciali per il TCO e la sovranità dei dati.
La Cina ha annunciato un ambizioso piano per sviluppare un supercomputer exascale capace di 2 ExaFLOPS, distinguendosi per l'esclusivo impiego di CPU. Lu Yutong, direttore del centro di supercomputing di Shenzhen e capo progettista, guida l'iniziativa del National Supercomputing Centre, evidenziando una strategia che evita le GPU per raggiungere prestazioni estreme e rafforzare la sovranità tecnicica.
Il prossimo kernel Linux 7.2, atteso per l'estate, introdurrà importanti novità per la gestione delle risorse hardware. Tra queste, spicca l'adozione di una priorità predefinita 'Fair' per lo scheduler DRM, volta a ottimizzare l'allocazione delle risorse GPU. Inoltre, il kernel integrerà il supporto per il nuovo hardware AIE4 (AI Engine 4) all'interno dell'architettura AMDXDNA, un passo cruciale per migliorare l'accelerazione dei carichi di lavoro AI su piattaforme AMD, con implicazioni significative per i deployment on-premise e il TCO.
Apple ha espresso sorpresa per l'impennata della domanda di Mac, attribuendola all'adozione di carichi di lavoro legati all'intelligenza artificiale. L'azienda prevede vincoli di fornitura per i modelli Mac mini, Mac Studio e Mac Neo nel prossimo trimestre, evidenziando una crescente tendenza verso l'esecuzione di operazioni AI su hardware locale e le implicazioni per i deployment on-premise.
Un'unità dimostrativa AMD, denominata "Halo Box", è emersa online, mostrando un sistema equipaggiato con un processore Ryzen 395 e 128GB di memoria RAM. Questo dispositivo, che esegue Ubuntu e presenta una striscia luminosa programmabile, offre uno sguardo sulle potenziali configurazioni hardware per l'esecuzione di Large Language Models (LLM) in ambienti self-hosted, evidenziando l'importanza di soluzioni locali per la sovranità dei dati e il controllo infrastrutturale.
Durante l'AMD AI Dev Day, l'azienda ha svelato il "Ryzen 395 Box", un dispositivo che potrebbe mirare al deployment locale di Large Language Models. Previsto per giugno, il prodotto non ha ancora un prezzo ufficiale, ma si specula su una possibile collaborazione con Lenovo per la produzione. L'annuncio evidenzia l'interesse crescente per soluzioni hardware dedicate all'AI self-hosted.
Il Ministro della Difesa giapponese, Shinjirō Koizumi, ha presentato il drone AirKamuy 150, un velivolo in cartone pre-fabbricato progettato per l'uso in battaglia e l'addestramento. Già impiegato dalla Forza Marittima di Auto-Difesa come bersaglio, questo drone economico e monouso, spedito in kit di montaggio, riflette l'ambizione del Giappone di massimizzare l'uso di asset senza pilota e rafforzare la collaborazione con le startup del settore difesa.
Un utente ha riscontrato prestazioni di Inference inferiori alle attese con Qwen 3.6 27B su una RTX 3090 Ti. L'analisi ha rivelato che l'architettura ibrida SSM del modello richiede un'elaborazione significativa della CPU per ogni token, creando un collo di bottiglia su processori meno recenti privi di istruzioni AVX-VNNI/AVX-512. Questo evidenzia l'importanza di un'attenta valutazione dell'hardware per i deployment LLM on-premise.
Google sta orientando lo sviluppo dei suoi chip TPU verso soluzioni più specializzate, abbandonando l'approccio universale. Questa evoluzione riflette una tendenza del settore AI che privilegia l'efficienza e le performance per carichi di lavoro specifici, con implicazioni significative per le strategie di deployment on-premise e la valutazione del TCO.
AMD ha rilasciato nuove patch per il kernel Linux, mirate ad accelerare la migrazione di pagina. Questo lavoro, originariamente avviato da NVIDIA, è ora portato avanti dagli ingegneri AMD e sfrutta copie batch e offloading hardware per migliorare significativamente le performance. L'iniziativa è cruciale per ottimizzare l'uso della memoria nelle architetture GPU, con implicazioni positive per i carichi di lavoro intensivi, specialmente nei deployment on-premise.
Gli ingegneri NVIDIA stanno sviluppando il supporto per ACPI CPPC v4 nel driver Linux `acpi_cppc`. Questa revisione dello standard ACPI 6.6 mira a migliorare la gestione delle performance dei core CPU da parte del sistema operativo, utilizzando una scala astratta. L'ottimizzazione del controllo collaborativo del processore è cruciale per le infrastrutture on-premise, influenzando l'efficienza energetica e il TCO dei carichi di lavoro AI, dove ogni componente hardware contribuisce alla performance complessiva e alla sostenibilità operativa.