AMD, Intel e progetti open source stanno consolidando gli stack di inference locale: Lemonade 11.6 integra Muse-Glimmer, FastFlowLM entra in ROCm, llama.cpp adotta il versioning semantico e Unsloth Desktop porta il training locale. Ottimizzazioni FP8, supporto AVX-512, aggiornamenti del kernel Linux e dock Comma.ai rafforzano ulteriormente i runtime IA self-hosted.
Il progetto abbandona i numeri di build sequenziali e adotta il versioning semantico. Un cambiamento che pesa soprattutto nei contesti self-hosted e on-premise, dove la prevedibilità delle API e la stabilità delle pipeline di inference contano più de...
Gli ingegneri AMD stanno sviluppando un backend per migliorare il supporto del calcolo GPU virtualizzato con ROCm sotto QEMU. La mossa punta a rendere più stabile l'uso di GPU AMD in macchine virtuali, un tema cruciale per infrastrutture on-premise e...
Il framework per LLM eterogenei KTransformers pubblica la versione 0.7 con supporto AVX-512 esteso, un intervento mirato sui server AMD EPYC. Per chi opera in self-hosted, il messaggio è strutturale: la CPU non è più un ripiego, ma una componente att...
Il ciclo Linux 7.2 per ARM64 si era chiuso senza funzionalità reali, vittima del caos nelle patch AI/LLM. Con Linux 7.3 arrivano nuove feature ARM64, tra cui BBML3 e workaround per NVIDIA Olympus. Un segnale di maturità per l'ecosistema ARM64, che in...
Il kernel 7.2 arriva dopo un ciclo segnato dall'aumento di patch e segnalazioni legate all'ecosistema AI/LLM. I progressi su I/O e driver AMD/Intel contano per chi esegue LLM self-hosted, perché il sistema operativo può diventare l'anello debole tra ...
Un breve post di ringraziamento riporta l'attenzione su Georgi Gerganov, creatore di llama.cpp. Il progetto open source ha trasformato l'approccio all'esecuzione di Large Language Models su hardware comune, abbattendo barriere per deployment self-hos...
AMD aggiorna Lemonade SDK con Muse-Glimmer 30B e modulo sperimentale ROCm per generazione immagini. Più che una novità di benchmark, è un segnale per chi valuta LLM locali: il valore si sposta su ottimizzazione di CPU, GPU e NPU, prevedibilità dei co...
AMD rilascia Lemonade SDK 11.6, che integra il LLM Muse-Glimmer da 30 miliardi di parametri e un modulo sperimentale di generazione immagini basato su ROCm, chiamato TheNoise. L'aggiornamento rafforza lo stack open source per eseguire applicazioni AI...
AMD e Meta hanno portato nel mainline PyTorch le ottimizzazioni FP8 per GPU Instinct: +13,4% su Llama3-8B, recupero dell'89% dell'overhead su DeepSeek-V3 671B e kernel 6,2× più rapidi. L'integrazione elimina la necessità di stack proprietari e rende ...
George Hotz presenta con Comma.ai e Tinygrad due dock: il Tiny Chestnut e il Chestnut, quest'ultimo con AMD Radeon RX 9060 da 8GB. Entrambi collegano PCIe Gen4 x4 a USB4 e girano su firmware open source. Una mossa che sposta l'apertura dal software a...
Le patch per il kernel Linux abilitano il supporto al GMUX Apple sui portatili di fine anni Dieci. Un miglioramento che, oltre alla gestione energetica, interessa chi trasforma queste macchine in nodi di inference on-premise riutilizzando hardware da...
Il progetto LLM-Scaler di Intel aggiunge il supporto immediato per Muse Glimmer, consolidando uno stack Docker-based per GPU Arc B-Series che integra vLLM, SGLang e ComfyUI. Una mossa che rende l’inference on-premise più accessibile e segnala l’impeg...
Unsloth Desktop è la prima applicazione open source per eseguire e addestrare LLM in locale. Supporta Windows, macOS e Linux, con accelerazione su NVIDIA, AMD, Intel e Mac. Promette training 2× più veloce e riduce la VRAM del 70%. Integra ricerca pri...
FastFlowLM 1.0, il software open-source per eseguire modelli linguistici e multimodali sulle NPU dei processori Ryzen AI, entra ufficialmente nell’ecosistema ROCm. La mossa segnala l’intenzione di AMD di offrire uno stack unificato per l’inference lo...
