L'AI on-premise si sta espandendo oltre le GPU da data center verso AMD ROCm, NVIDIA GB300, FPGA, mini PC, iPad con eGPU e configurazioni desktop multi-nodo.
LemonSeed Studio porta l'inference locale di Qwen3.8-27B su iPad Pro usando una GPU AMD esterna in enclosure Thunderbolt. Il motore LSE, identico su iPadOS, macOS e Linux, raggiunge 158,5 token/s su R9700 con decodifica speculativa DFlash2 e 64,4 su ...
Alla LPC2026 di Praga, NVIDIA e Red Hat hanno mostrato i progressi di Nova, il driver NVIDIA open source in Rust pensato per il kernel Linux upstream. Il progetto punta a diventare il driver ufficiale, con ricadute su deployment on-premise di GPU, si...
Gigabyte ha testato il sistema W775-V10-L01 con NVIDIA GB300, registrando oltre 2,2 miliardi di token al giorno sulla GPU Blackwell Ultra, 800 Gbps dalla ConnectX-8 SuperNIC e il collegamento C2C tra CPU Grace e GPU. Il banco prova deskside segnala c...
Il team Linux graphics di Valve, con Timur Kristóf, prosegue il lavoro sui driver open source per vecchie GPU AMD. Dopo la migrazione delle architetture GCN 1.0/1.1 al driver AMDGPU, ora migliora il supporto Vulkan RADV per le Radeon RX 400/500 Polar...
ROCm 10.1 conferma il ciclo di sei settimane di AMD per lo stack GPU. Più delle singole funzionalità, conta la prevedibilità: per i deployment self-hosted riduce il rischio di restare bloccati su versioni vecchie e rende il software parte governabile...
AMD ha rilasciato ROCm 10.1, poche settimane dopo ROCm 10.0 di fine agosto, confermando il ciclo di aggiornamenti ogni sei settimane. La notizia rilevante non è solo il nuovo pacchetto, ma la cadenza: per chi usa GPU AMD in ambienti self-hosted, la p...
Phoronix mette a confronto i backend Vulkan e ROCm di Llama.cpp su due macchine con GPU AMD Radeon e il server AI locale Lemonade. Il test segnala una scelta strutturale per lo stack self-hosted su AMD: compatibilità hardware contro prestazioni ottim...
Un utente ha assemblato un setup di inference interamente locale con GLM 5.3 Flash su due DGX Spark, usando vLLM con parallelismo tensoriale a due vie. I numeri dichiarati: prefill a circa 1.500 token/s e decode a circa 40 token/s con 100mila token d...
Un progetto GitHub esegue un LLM Qwen3.5-9B INT4 su FPGA SQRL ex-mining. Con due FK33 a 75 MHz si ottengono 3,2 token/s in generazione a contesti brevi e 2,4 token/s tra 2k e 3k token. Le stime per Qwen3.8-27B arrivano a 25 token/s con quattro die XC...
Un modder ha affrontato il problema dei connettori di alimentazione fusi sulle RTX 5090 con un distributore personalizzato. La vicenda segnala margini di progettazione ristretti per le GPU di fascia alta usate nei carichi continui di inference locale...
AMD ha inviato un nuovo pull a DRM-Next per Linux 7.4: per lo più correzioni, ma con i primi blocchi IP per GPU future. Un segnale concreto per chi pianifica inference locale.
Il progetto Kyojin porta due modelli MoE da circa 300 miliardi di parametri su un singolo mini PC con AMD Strix Halo e 128 GB di memoria. Misurati su Ryzen AI Max+ 395, GLM-5.3-Flash e MiMo-V2.6-Flash raggiungono prefill fino a 650 token/s e decode f...
