Una serie di guide, benchmark e lanci hardware mostra LLM eseguiti localmente su Apple Silicon, GPU RTX, SoC edge e desktop dedicati. Modifiche grigie e nuovi core on-device spingono VRAM, banda e limiti di potenza per l'inference self-hosted.
Una RTX 5090 con 96 GB di VRAM, venduta su Alibaba a meno di 4.000 dollari, mostra la crescita di un mercato grigio orientato all'inference on-premise. La modifica cinese triplica la memoria della scheda standard, abbassando la soglia per eseguire lo...
Qualcomm dettaglia le prossime CPU Oryon, GPU Adreno e NPU Hexagon. La mossa conferma che l'inference locale diventa un vincolo di progettazione primario per i chip client e un'opzione strategica per chi valuta deployment self-hosted e sovranità dei ...
Un modder ha sostituito il connettore a 16 pin di una RTX 5090 con tre 8-pin, portando la scheda a 900 watt e 3.400 MHz. La mod evidenzia la tensione tra potenza di picco, affidabilità dell'alimentazione e gestione termica, con implicazioni per chi u...
Il nuovo SoC Apple A20 Pro porta il Neural Engine da 16 a 32 core e, grazie a un bus LPDDR5X a 96 bit su processo a 2 nm, raggiunge circa 115 GB/s di banda di memoria. Un investimento costoso che segnala la priorità strategica di Apple per l'esecuzio...
System76 ha presentato il Thelio Mira AI, un desktop pensato per carichi multi-GPU: training di modelli, fine-tuning, inference, computer vision e generazione di immagini. La macchina combina CPU AMD Ryzen 9000 con opzioni GPU NVIDIA o AMD e si prest...
Una comparazione condivisa su Reddit usa VRAM per dollaro e bandwidth dichiarata per orientarsi tra le GPU più discusse nei canali LocalLLaMA. Prezzi raccolti con ChatGPT, nuovi o di seconda mano, senza garanzie. Un metodo grezzo ma utile per chi val...
Un developer rilascia Jenny, app Electron open source per eseguire LLM in locale con tool calling, rollback e IDE. Nessuna chiamata di rete oltre al runtime locale; sicurezza su comandi distruttivi e modifiche ai file. Windows first, con segnalazioni...
Una guida mostra come collegare llama.cpp, il protocollo MCP e FreeCAD per generare solidi con un modello locale. Il flusso usa Qwen3.8-27B quantizzato Q4_K_M e un proiettore visivo mmproj-F16: il modello può avviare tool, leggere screenshot e verifi...
Una branch custom di llama.cpp porta l'expert expansion ai modelli MoE e la testa su Apple Metal. Il risultato supera la versione DS4 dell'autore, ma manca validazione su altre piattaforme. Il caso mostra quanto l'inference locale sui modelli sparse ...
Una comparativa locale con quantization Q8_K_XL su due StrixHalo 128GB mostra che DeepSeek-V4-Flash-Vision genera token più lentamente di Qwen3.8-Flash-Next, ma chiude i compiti in circa metà tempo. L'autore osserva meno allucinazioni e una minore te...
La variante Qwen3.8-Flash-Next-oQ4e-mtp mostra velocità di inference locale su Apple Silicon: 45 token al secondo su M4 Max e 25 su M2 Ultra. Il dato arriva da llm-bench.io e mette a confronto una variante ottimizzata con Qwen3.8 27B, con prestazioni...
Un post tecnico mostra come Qwen3.8 27b in quantization Q4_K_XL giri su una RTX 3090 con 24GB di VRAM e contesto da 100k token. L'autore sostiene che i piccoli LLM self-hosted, capaci di svolgere l'80-90% del lavoro ripetitivo, minano i ricavi dei ve...
