La spinta all'IA locale comprende nuovo silicio on-device, GPU modificate, desktop multi-GPU e strumenti self-hosted che usano MCP, llama.cpp e modelli locali per controllare CAD, scrivere driver o generare SVG. Il fattore comune è ridurre la dipendenza dal cloud mantenendo i flussi agentici su hardware locale.
Un utente abituato a Claude Code chiede quale harness locale open source possa sostituirlo su una RTX 3090 da 24 GB di VRAM. Non cerca un LLM più potente, ma un ambiente agente che replichi il loop di modifica ed esecuzione. La richiesta anticipa tim...
Un test self-hosted con Qwen3.8-Flash-Next-IQ4_XS su llama.cpp produce un SVG complesso da un prompt creativo. L'output convince, ma le anteprime divergono: palme e note musicali spariscono nel browser. Il caso mostra perché la generazione di codice ...
Venerdì Intel ha pubblicato il driver Linux NPU 1.38, aggiungendo il supporto ufficiale per Ubuntu 26.04 LTS. I componenti user-space open source lavorano con il driver kernel IVPU per sfruttare la NPU dei Core Ultra, un passo concreto per l’inferenc...
Una RTX 5090 con 96 GB di VRAM, venduta su Alibaba a meno di 4.000 dollari, mostra la crescita di un mercato grigio orientato all'inference on-premise. La modifica cinese triplica la memoria della scheda standard, abbassando la soglia per eseguire lo...
Qualcomm dettaglia le prossime CPU Oryon, GPU Adreno e NPU Hexagon. La mossa conferma che l'inference locale diventa un vincolo di progettazione primario per i chip client e un'opzione strategica per chi valuta deployment self-hosted e sovranità dei ...
Un esperimento con un vecchio MacBook mostra un agente AI che osserva lo schermo tramite webcam e specchio, scrive driver AMD e verifica da sé l'avanzamento in tempo reale. Il caso segnala un approccio 'agent-first' allo sviluppo di driver e al debug...
Un modder ha sostituito il connettore a 16 pin di una RTX 5090 con tre 8-pin, portando la scheda a 900 watt e 3.400 MHz. La mod evidenzia la tensione tra potenza di picco, affidabilità dell'alimentazione e gestione termica, con implicazioni per chi u...
Il nuovo SoC Apple A20 Pro porta il Neural Engine da 16 a 32 core e, grazie a un bus LPDDR5X a 96 bit su processo a 2 nm, raggiunge circa 115 GB/s di banda di memoria. Un investimento costoso che segnala la priorità strategica di Apple per l'esecuzio...
System76 ha presentato il Thelio Mira AI, un desktop pensato per carichi multi-GPU: training di modelli, fine-tuning, inference, computer vision e generazione di immagini. La macchina combina CPU AMD Ryzen 9000 con opzioni GPU NVIDIA o AMD e si prest...
Una comparazione condivisa su Reddit usa VRAM per dollaro e bandwidth dichiarata per orientarsi tra le GPU più discusse nei canali LocalLLaMA. Prezzi raccolti con ChatGPT, nuovi o di seconda mano, senza garanzie. Un metodo grezzo ma utile per chi val...
Un developer rilascia Jenny, app Electron open source per eseguire LLM in locale con tool calling, rollback e IDE. Nessuna chiamata di rete oltre al runtime locale; sicurezza su comandi distruttivi e modifiche ai file. Windows first, con segnalazioni...
Una guida mostra come collegare llama.cpp, il protocollo MCP e FreeCAD per generare solidi con un modello locale. Il flusso usa Qwen3.8-27B quantizzato Q4_K_M e un proiettore visivo mmproj-F16: il modello può avviare tool, leggere screenshot e verifi...
