📁 Hardware

Una recente ricerca confronta le prestazioni di vLLM-MLX su Apple Silicio con llama.cpp, evidenziando un throughput significativamente superiore. I risultati suggeriscono potenziali vantaggi nell'utilizzo di hardware Apple per inference di modelli linguistici di grandi dimensioni (LLM) in locale.

LandMark Optoelectronics espande la produzione di componenti per fotonica al silicio tramite l'aggiunta di nuovi reattori MOCVD. L'espansione mira a soddisfare la crescente domanda di interconnessioni ad alta velocità nei data center e nelle applicazioni di intelligenza artificiale.

Un utente sta valutando quale dispositivo sia più adatto per l'inference di modelli linguistici di grandi dimensioni (LLM) in un ambiente di produzione, considerando velocità e capacità di fine-tuning. Il confronto è tra un Mac Studio con M4 Max e un mini PC GMKtec EVO-X2 AI con Ryzen AI Max+ 395, entrambi dotati di 128 GB di memoria.

Il Ministero della Difesa britannico introduce un nuovo corso di laurea in ingegneria dei droni. L'iniziativa mira a rafforzare le capacità dell'esercito, integrando le conoscenze acquisite dal conflitto in Ucraina. Il corso formerà esperti nella progettazione e manutenzione di droni militari.

Indiscrezioni suggeriscono che AMD potrebbe incrementare la cache L3 dei processori Zen 6 a 48MB per compensare l'aumento dei core nei CCD. Questa mossa manterrebbe il rapporto cache-core invariato rispetto a Zen 5.

Il driver open-source Nova, scritto in Rust, continua il suo percorso di integrazione nel kernel Linux 7.0. L'obiettivo è fornire supporto per le GPU Turing di NVIDIA. Parallelamente, proseguono i lavori sui driver Arm Mali Tyr.

Aggiornamenti nel driver open-source Intel Xe per Linux, in preparazione al kernel 7.0. Tra le novità, la disabilitazione di GuC Power DCC per Panther Lake e miglioramenti nel reporting dei sensori di temperatura della GPU.

Un utente ha realizzato un cluster di calcolo locale basato su quattro workstation Lenovo P620, ciascuna equipaggiata con due GPU NVIDIA RTX 3090, per un totale di 192GB di VRAM. La configurazione, interconnessa tramite rete a 10Gbit (in attesa di upgrade a 100Gbit), è destinata all'esecuzione di modelli linguistici di grandi dimensioni (LLM) in locale, sfruttando framework come vLLM e Ray.

Un'analisi sull'utilizzo della workstation Dell Pro Max equipaggiata con GPU GB10 per risolvere task di reporting complessi. L'articolo originale riporta un'esperienza pratica che ha portato a un ritorno sull'investimento (ROI) entro un periodo di 12 mesi, focalizzandosi sull'applicazione in scenari reali.

È stata rilasciata la versione 0.7 di Libcamera, libreria software per image signal processor (ISP) e fotocamere embedded su Linux. La novità principale è l'accelerazione GPU per il software ISP (SoftISP), che promette performance superiori rispetto all'utilizzo esclusivo della CPU.

Qilimanjaro Quantum Tech ha presentato EduQit, un kit modulare per il calcolo quantistico progettato per la formazione pratica, l'apprendimento sperimentale e la ricerca di base. EduQit consente a università e istituti di ricerca di lavorare direttamente con un sistema di calcolo quantistico fisico, colmando una lacuna nell'istruzione quantistica che spesso si basa su teoria e simulazioni.

È disponibile la versione 1.12 di Libgcrypt, la libreria di basso livello usata da GnuPG e altri software per la crittografia. Questa release introduce ottimizzazioni per le CPU AMD Zen 5 tramite VAES e AVX-512, promettendo un incremento di performance fino a 2x per le operazioni AES.

Timur Kristóf, parte del team graphics Linux di Valve, ha risolto problematiche nel driver open-source AMDGPU. Questo permette alle GPU AMD GCN 1.0 e 1.1 di usare AMDGPU invece del driver Radeon. I nuovi aggiornamenti superano le limitazioni delle APU GCN 1.1, abilitando il supporto AMDGPU DC per Kaveri e derivati.

È stata rilasciata la versione 0.0.15 del driver NVIDIA-VAAPI. Questo driver VA-API, basato sull'interfaccia NVDEC di NVIDIA, abilita l'accelerazione video per le GPU NVIDIA con il browser Firefox su Linux, supportando VA-API ma non NVDEC di NVIDIA.

Cooler Master ha mostrato in Cina un nuovo sistema di raffreddamento a liquido AIO (All-in-One) da 360x360mm, progettato per workstation ad alte prestazioni con CPU fino a 2000W. Questo sistema di raffreddamento è pensato per utenti che necessitano di dissipare elevate potenze termiche.

Moltbot annuncia progressi che potrebbero riabilitare il Mac mini di Apple nello sviluppo di applicazioni di intelligenza artificiale, superando le limitazioni tradizionali legate all'ecosistema CUDA.

T-Head Semiconductor di Alibaba ha sviluppato un nuovo chip AI che punta a competere con le prestazioni delle GPU Nvidia A800 e A100. Questa mossa potrebbe intensificare la competizione nel mercato dell'hardware per l'intelligenza artificiale, offrendo potenzialmente nuove opzioni per i carichi di lavoro di inference e training.

Il mercato dei server AI si sposta verso architetture rack-level, con Delta e Liteon che emergono come fornitori chiave. Questa tendenza riflette la crescente domanda di maggiore densità di calcolo e migliori capacità di gestione termica nei data center AI.

Un utente ha realizzato un server AI ad alte prestazioni con componenti consumer, raggiungendo 768GB di memoria tra RAM e VRAM. La configurazione, basata su un Threadripper Pro e diverse GPU, dimostra come un budget relativamente contenuto possa competere con soluzioni enterprise più costose, spingendo i limiti dell'inference AI in locale.

La prossima release di GNOME 50, prevista in distribuzioni come Ubuntu 26.04 LTS e Fedora Workstation 44, includerà un rilevamento migliorato delle GPU discrete all'interno di GNOME Shell. Questo sviluppo, in lavorazione da due anni, è stato finalmente integrato.