I modelli open-weight vengono sempre più eseguiti su GPU locali, Apple Silicon e desktop multi-GPU, con supporto crescente in llama.cpp, quantization GGUF e orchestrazione locale. Driver GPU e stack software stanno diventando uno strato strategico per l'inference self-hosted.
Un thread su Reddit segnala una demo web che applica a Qwen una tecnica di approssimazione della KV cache simile a quella attribuita a 'V4.1 flash' per accelerare il prefill. Nessun benchmark pubblico, ma il prototipo riapre la discussione su come ri...
Un modder ha sostituito il connettore a 16 pin di una RTX 5090 con tre 8-pin, portando la scheda a 900 watt e 3.400 MHz. La mod evidenzia la tensione tra potenza di picco, affidabilità dell'alimentazione e gestione termica, con implicazioni per chi u...
System76 ha presentato il Thelio Mira AI, un desktop pensato per carichi multi-GPU: training di modelli, fine-tuning, inference, computer vision e generazione di immagini. La macchina combina CPU AMD Ryzen 9000 con opzioni GPU NVIDIA o AMD e si prest...
Una comparazione condivisa su Reddit usa VRAM per dollaro e bandwidth dichiarata per orientarsi tra le GPU più discusse nei canali LocalLLaMA. Prezzi raccolti con ChatGPT, nuovi o di seconda mano, senza garanzie. Un metodo grezzo ma utile per chi val...
Una branch custom di llama.cpp porta l'expert expansion ai modelli MoE e la testa su Apple Metal. Il risultato supera la versione DS4 dell'autore, ma manca validazione su altre piattaforme. Il caso mostra quanto l'inference locale sui modelli sparse ...
Una comparativa locale con quantization Q8_K_XL su due StrixHalo 128GB mostra che DeepSeek-V4-Flash-Vision genera token più lentamente di Qwen3.8-Flash-Next, ma chiude i compiti in circa metà tempo. L'autore osserva meno allucinazioni e una minore te...
Undici giorni e circa 167 ore di GPU per confrontare otto varianti abliterated di Qwen 3.8 27B con il modello base. I dati mostrano che le modifiche chirurgiche superano quelle aggressive: i modelli più editati entrano in loop di pensiero e perdono u...
La variante Qwen3.8-Flash-Next-oQ4e-mtp mostra velocità di inference locale su Apple Silicon: 45 token al secondo su M4 Max e 25 su M2 Ultra. Il dato arriva da llm-bench.io e mette a confronto una variante ottimizzata con Qwen3.8 27B, con prestazioni...
AMD sta costruendo un team di sviluppatori di alto livello per introdurre Rust nel cuore dello stack GPU: firmware, driver, compilatori shader e altri componenti. L'obiettivo è ridurre le classi di vulnerabilità legate alla memoria e migliorare l'aff...
La pull request #28127 per integrare Hy4-preview in llama.cpp non porta benchmark, ma segnala la convergenza dell'ecosistema self-hosted. Anche i vendor cloud mostrano attenzione alle pipeline on-premise. Restano da verificare stabilità, licenze e do...
Un benchmark su 21 varianti quantizzate di Qwen3.8 27B con una RTX 5080 da 16 GB mostra quanto conti la scelta del formato GGUF. La variante IQ4_XS di bartowski ottiene la divergenza media più bassa e il miglior accordo sul token più probabile, mentr...
La pull request #28127 aggiunge il supporto all'architettura preview di Tencent Hy4 in llama.cpp. Un segnale concreto per chi valuta stack on-premise e sovranità dei dati, senza benchmark ufficiali.
Un costruttore ha investito 18.000 euro in un server EPYC con 768 GB di VRAM e 256 GB di RAM per eseguire LLM open source di frontiera in locale. Ma i prossimi modelli, a partire da GLM 6, potrebbero essere due o tre volte più grandi, rendendo inutil...
Il programma di XDC 2026, in programma a Toronto, affronta Wayland, OpenCL su CUDA e la possibile evoluzione Vulkan Gallium. Per chi esegue LLM in locale, sono temi che toccano driver, controllabilità e longevità delle infrastrutture GPU self-hosted.
Le modifiche al compilatore grafico Intel integrate in Mesa 26.3 rivelano che Nova Lake P adotterà una modalità di indirizzamento degli shader a 64 bit. È un cambio architetturale profondo, non un semplice aggiornamento: espande lo spazio di memoria ...
