La crescente domanda di sovranità dei dati, controllo dei costi e prestazioni sta guidando un'ondata di soluzioni per eseguire grandi modelli linguistici su hardware locale, dall'alternativa a CUDA di AMD a strumenti come Unsloth che permettono l'inference su hardware consumer. Questo cambiamento sta ridisegnando le scelte infrastrutturali, con nuove GPU, driver ottimizzati e persino il compositing desktop a giocare ruoli chiave.
Le ottimizzazioni di KWin sulla gestione di più GPU in KDE Plasma 6.8 non sono una semplice miglioria grafica: abbattono la frizione tra rendering desktop e carichi di inference locali, rendendo le workstation Linux un ambiente più efficiente e diret...
Gli sviluppi di KWin per Plasma 6.8 promettono maggiore efficienza nella gestione di più GPU ed eGPU. Un miglioramento che, oltre il desktop, riduce la contesa di risorse e rende più fluide le pipeline di inference e training LLM su Linux. Ecco perch...
Unsloth ha rilasciato i file GGUF per Deepseek V4, abilitando l’inference self-hosted su hardware consumer via llama.cpp e Ollama. La mossa ribalta il calcolo del TCO e la sovranità dei dati: l’AI on-premise diventa una scelta di design. AI-Radar ana...
La disponibilità dei file GGUF per Deepseek V4 0731 tramite Unsloth segna un passo avanti per chi vuole eseguire modelli di frontiera su hardware proprio, aggirando il cloud. Una mossa che ridefinisce gli equilibri tra potenza computazionale e sovran...
thinkingmachines ha rilasciato Inkling-Small, un LLM a mistura di esperti con 276 miliardi di parametri e soli 12 miliardi attivi, finestra di contesto da 1 milione di token e quantizzazioni NVFP4 e GGUF. L'analisi AI-RADAR mette a fuoco il nodo nasc...
Un paper valuta architetture transformer ricorsive per simulazioni termo-meccaniche nei semiconduttori. Risultato: condividere i pesi in profondità riduce overfitting e FLOPs, un vantaggio diretto per chi esegue modelli su hardware limitato e vuole m...
In piena corsa all’intelligenza artificiale, LinkedIn decide di non espandere i propri data center nel prossimo anno, puntando invece sull’ottimizzazione delle risorse di calcolo esistenti. Gli ingegneri dovranno far fruttare ogni GPU al massimo dell...
Un ingegnere Huawei lancia la proposta di rendere open-source un driver Vulkan per GPU interna, ma il tono è dimesso e la comunità Mesa resta scettica. Senza un impegno convinto, il progetto rischia di arenarsi, lasciando gli utilizzatori di GPU Huaw...
Le release trimestrali dei driver Intel Media e oneVPL GPU Runtime mostrano le prime ottimizzazioni per l'accelerazione video su Nova Lake. Un mattone fondamentale per chi valuta hardware Intel in deployment locali di inference AI, dove la maturità d...
AMD e Anthropic stanno costruendo una fabbrica AI su larga scala che rinuncia a CUDA. L’ecosistema ROCm diventa un’alternativa concreta per l’inference e il fine-tuning di modelli multi-trilione di parametri. Per le aziende che puntano al self-hosted...
La partnership punta a scalare l'inference e il training di Claude su GPU Instinct MI300X, sfidando il monopolio NVIDIA con un ecosistema aperto. Per le aziende che valutano deployment on-premise, si apre uno scenario inedito di diversificazione dell...
Un utente acquista una RTX 5090 per addestrare modelli in locale e liberarsi dalle API cloud. Passa a due RTX 6000 Pro per gestire modelli da 100B parametri, salvo poi accorgersi che la maggior parte dei compiti quotidiani girava già sulla sola 5090....
Il supercomputer Helios, basato su GPU AMD Instinct e stack ROCm, sta scalando le classifiche mondiali e mostra come l’ecosistema aperto di AMD sia ormai maturo per carichi AI, insidiando il dominio di CUDA. Un segnale forte per chi progetta infrastr...
L'esperimento di un utente mostra il modello Kimi K3 in esecuzione locale con quantization Q2_K, 768GB di RAM di sistema e due GPU NVIDIA 5090. Prefill a 50-70 token/s e decodifica intorno a 4 token/s, ma la velocità di generazione aumenta nel tempo,...
La virata della Cina verso ecosistemi open source per l’AI generativa è più di una scelta tecnica: è un adattamento forzato dai vincoli hardware e dalle dottrine di sicurezza, che trasforma il paese in un banco di prova avanzato per il deployment on-...
Nvidia si prepara ad aumentare i prezzi delle sue GPU GeForce RTX fino al 30%. Questa mossa ha implicazioni significative per le strategie di deployment AI on-premise, aumentando il Total Cost of Ownership e spingendo le aziende a riconsiderare l'har...
La PyTorch Foundation invita la community a disegnare la spilla per la conferenza 2026. Dietro un'iniziativa apparentemente leggera si nasconde un tassello strategico: il branding e la partecipazione attiva cementano la comunità open source che rende...
L'ultimo report di DIGITIMES fotografa un'ondata di investimenti infrastrutturali guidata da Google e Meta, trainati dalla crescita dei Large Language Models. Tra silicio personalizzato e cloud sempre più chiusi, AI-RADAR analizza le implicazioni per...
OpenAI smette di permettere a ChatGPT di imitare esplicitamente lo stile di autori famosi, vivi o morti. Segnale di pressioni legali crescenti: per chi cerca controllo creativo senza filtri, il self-hosted diventa un'alternativa sempre più concreta.
Moonshot rilascia Kimi K3, LLM MoE da 2.800 miliardi di parametri con quantization MXFP4. Per il deployment on-premise, un nodo da 8×A100 (640 GB) richiede tre macchine prima di allocare la cache KV; con 8×H200 (1.13 TB) servono due nodi. Solo 8×B300...
Il passaggio di Kimi K3 all'open weight è una notizia importante per l'ecosistema open source, ma la stazza del modello lo rende irraggiungibile per la maggior parte delle infrastrutture private. Chi lo userà davvero e cosa significa per chi scommett...
