llama.cpp, DFlash, KTransformers, ROCm/PyTorch, driver Linux e tooling Rust stanno diventando componenti più prevedibili per carichi LLM self-hosted. AMD, Intel e la comunità del kernel stanno ampliando il supporto hardware per l'inference GPU locale.
La seconda versione di DFlash non arriva con un annuncio ma con la PR 27342 su llama.cpp e i quantizzati GGUF già pronti per Qwen 3.8 27B e Muse Glimmer. AI-Radar analizza il cambio di baricentro: il vero collo di bottiglia dell'on-premise non è il m...
Gli autori originali dei quantizzati GGUF di DFlash hanno pubblicato una seconda versione insieme a una pull request per llama.cpp. Il pacchetto copre Qwen 3.8 27B e Muse Glimmer, segnalando un'integrazione stretta tra ottimizzazioni di modello e run...
Gli aggiornamenti Rust per il kernel Linux 7.3 includono le prime correzioni per usare il backend GCC al posto di LLVM nel compilatore rustc. È un passo verso toolchain alternative per build locali, architetture meno coperte e maggiore controllo dell...
Un nuovo paper sull'offloading LLVM verso GPU con Rust discute le prospettive di sfruttare la sicurezza della memoria nei kernel GPU. Rispetto a C++/CUDA/HIP, il modello di Rust può ridurre intere classi di bug critici. Per deploy self-hosted questo ...
Il progetto abbandona i numeri di build sequenziali e adotta il versioning semantico. Un cambiamento che pesa soprattutto nei contesti self-hosted e on-premise, dove la prevedibilità delle API e la stabilità delle pipeline di inference contano più de...
Gli ingegneri AMD stanno sviluppando un backend per migliorare il supporto del calcolo GPU virtualizzato con ROCm sotto QEMU. La mossa punta a rendere più stabile l'uso di GPU AMD in macchine virtuali, un tema cruciale per infrastrutture on-premise e...
Il framework per LLM eterogenei KTransformers pubblica la versione 0.7 con supporto AVX-512 esteso, un intervento mirato sui server AMD EPYC. Per chi opera in self-hosted, il messaggio è strutturale: la CPU non è più un ripiego, ma una componente att...
Il ciclo Linux 7.2 per ARM64 si era chiuso senza funzionalità reali, vittima del caos nelle patch AI/LLM. Con Linux 7.3 arrivano nuove feature ARM64, tra cui BBML3 e workaround per NVIDIA Olympus. Un segnale di maturità per l'ecosistema ARM64, che in...
Il kernel 7.2 arriva dopo un ciclo segnato dall'aumento di patch e segnalazioni legate all'ecosistema AI/LLM. I progressi su I/O e driver AMD/Intel contano per chi esegue LLM self-hosted, perché il sistema operativo può diventare l'anello debole tra ...
Un breve post di ringraziamento riporta l'attenzione su Georgi Gerganov, creatore di llama.cpp. Il progetto open source ha trasformato l'approccio all'esecuzione di Large Language Models su hardware comune, abbattendo barriere per deployment self-hos...
AMD aggiorna Lemonade SDK con Muse-Glimmer 30B e modulo sperimentale ROCm per generazione immagini. Più che una novità di benchmark, è un segnale per chi valuta LLM locali: il valore si sposta su ottimizzazione di CPU, GPU e NPU, prevedibilità dei co...
AMD rilascia Lemonade SDK 11.6, che integra il LLM Muse-Glimmer da 30 miliardi di parametri e un modulo sperimentale di generazione immagini basato su ROCm, chiamato TheNoise. L'aggiornamento rafforza lo stack open source per eseguire applicazioni AI...
AMD e Meta hanno portato nel mainline PyTorch le ottimizzazioni FP8 per GPU Instinct: +13,4% su Llama3-8B, recupero dell'89% dell'overhead su DeepSeek-V3 671B e kernel 6,2× più rapidi. L'integrazione elimina la necessità di stack proprietari e rende ...
Le patch per il kernel Linux abilitano il supporto al GMUX Apple sui portatili di fine anni Dieci. Un miglioramento che, oltre alla gestione energetica, interessa chi trasforma queste macchine in nodi di inference on-premise riutilizzando hardware da...
Arriva LACT 0.10, l’utility Linux per il controllo GPU. Nuove funzioni per l’overclock NVIDIA e il sensore hotspot delle Blackwell segnalano un ecosistema che matura: sempre più critico per chi gestisce carichi AI on-premise e deve bilanciare prestaz...
Il progetto LLM-Scaler di Intel aggiunge il supporto immediato per Muse Glimmer, consolidando uno stack Docker-based per GPU Arc B-Series che integra vLLM, SGLang e ComfyUI. Una mossa che rende l’inference on-premise più accessibile e segnala l’impeg...
