La strumentazione per l'inference locale si sta consolidando tra AMD ROCm, Intel Arc, supporto GPU nel kernel Linux e piattaforme container on-premise. Nuove versioni e mosse di prezzo, da Lemonade e FastFlowLM a RTX PRO 6000, mostrano opportunità ma anche pressioni di costo per l'infrastruttura self-hosted.
AMD aggiorna Lemonade SDK con Muse-Glimmer 30B e modulo sperimentale ROCm per generazione immagini. Più che una novità di benchmark, è un segnale per chi valuta LLM locali: il valore si sposta su ottimizzazione di CPU, GPU e NPU, prevedibilità dei co...
AMD rilascia Lemonade SDK 11.6, che integra il LLM Muse-Glimmer da 30 miliardi di parametri e un modulo sperimentale di generazione immagini basato su ROCm, chiamato TheNoise. L'aggiornamento rafforza lo stack open source per eseguire applicazioni AI...
AMD e Meta hanno portato nel mainline PyTorch le ottimizzazioni FP8 per GPU Instinct: +13,4% su Llama3-8B, recupero dell'89% dell'overhead su DeepSeek-V3 671B e kernel 6,2× più rapidi. L'integrazione elimina la necessità di stack proprietari e rende ...
Il raddoppio del prezzo di listino della RTX PRO 6000 Blackwell, da meno di 8.000 a 16.000 dollari, segnala una domanda enterprise anelastica e un potere di prezzo che ridisegna i calcoli TCO per l'on-premise. La scheda da 96 GB di VRAM diventa un fi...
La scheda professionale da 96 GB passa da un preordine sotto gli 8.000 dollari a un MSRP di 16.000. Un segnale sui costi dell'inference self-hosted e sulla pressione che spinge le aziende private a spendere il doppio per GPU. Per chi valuta server lo...
George Hotz presenta con Comma.ai e Tinygrad due dock: il Tiny Chestnut e il Chestnut, quest'ultimo con AMD Radeon RX 9060 da 8GB. Entrambi collegano PCIe Gen4 x4 a USB4 e girano su firmware open source. Una mossa che sposta l'apertura dal software a...
Le patch per il kernel Linux abilitano il supporto al GMUX Apple sui portatili di fine anni Dieci. Un miglioramento che, oltre alla gestione energetica, interessa chi trasforma queste macchine in nodi di inference on-premise riutilizzando hardware da...
Arriva LACT 0.10, l’utility Linux per il controllo GPU. Nuove funzioni per l’overclock NVIDIA e il sensore hotspot delle Blackwell segnalano un ecosistema che matura: sempre più critico per chi gestisce carichi AI on-premise e deve bilanciare prestaz...
Il progetto LLM-Scaler di Intel aggiunge il supporto immediato per Muse Glimmer, consolidando uno stack Docker-based per GPU Arc B-Series che integra vLLM, SGLang e ComfyUI. Una mossa che rende l’inference on-premise più accessibile e segnala l’impeg...
FastFlowLM 1.0, il software open-source per eseguire modelli linguistici e multimodali sulle NPU dei processori Ryzen AI, entra ufficialmente nell’ecosistema ROCm. La mossa segnala l’intenzione di AMD di offrire uno stack unificato per l’inference lo...
Il driver DRM Nova, successore di Nouveau, riceve nuove funzionalità per il kernel Linux 7.3. Scritto in Rust, punta a offrire un supporto open-source alle GPU NVIDIA. Analizziamo cosa significa per chi lavora con AI on-premise e stack auto-gestiti.
A partire dalla release 45, il sistema container-optimized di Fedora gestirà in automatico la pressione di memoria con systemd-oomd e swap compressa su zRAM. Una mossa che parla direttamente a chi spinge carichi LLM su hardware contenuto.
