Memoria GPU, supporto NPU e strategie vendor data-center-first stanno ridisegnando l'inference LLM locale. Le voci su RTX con molta VRAM, la svolta strategica di AMD e l'abilitazione NPU su Linux riflettono domanda e incertezza hardware.
La community segnala acquisti in massa della GeForce RTX 5060 Ti 16GB per eseguire modelli AI. Non è un dettaglio da appassionati: indica che la VRAM consumer è diventata la porta d'ingresso per l'inference self-hosted. Il nodo resta la memoria: 16 G...
Un utente con RTX 5070 Ti da 16GB e 32GB di RAM ha provato Ollama, vLLM e i framework Goose, Hermes Agent e OpenCode per costruire assistenti locali. Il risultato? Niente di utile. La storia mostra il divario tra narrativa degli agenti self-hosted e ...
Un nuovo strumento open source promette di mostrare con precisione quali processi consumano la VRAM. Per chi gestisce LLM in locale, questa visibilità cambia il modo di affrontare colli di bottiglia, dimensionare l'hardware e calcolare il costo reale...
Nel ciclo verso Linux 7.5 si sono già accumulate tre pull request drm-misc-next per l'abilitazione delle NPU AMD Ryzen AI con AIE4. Un segnale concreto per chi guarda all'inference locale e self-hosted.
La dichiarazione del CEO di AMD, che prioritizza le GPU per data center, segna un punto di svolta nel panorama hardware per l'AI. Questa analisi approfondisce le implicazioni per le organizzazioni che perseguono deployment di LLM on-premise, ridefine...
Il CEO di AMD ha definito l'azienda 'data center first', chiudendo di fatto l'era delle GPU consumer a basso costo come priorità strategica. Per chi pianifica inference LLM self-hosted, il segnale conta: l'offerta di silicio, packaging e VRAM si spos...
La scadenza del 10 novembre per PyTorch Day China 2026 rivela un'agenda concentrata su training distribuito, inference efficiente, accelerazione hardware e AI fisica. L'analisi: le tracce scelte mostrano come il framework guardi sempre più ai vincoli...
NVIDIA ha rilasciato CUDA 13.5 insieme al driver Linux 620.70.06. La novità centrale è il supporto in general availability per Vera Rubin, architettura GPU di NVIDIA. Per chi lavora su infrastrutture self-hosted e LLM, il toolchain diventa disponibil...
La Call for Proposals del PyTorch Day China 2026 chiude il 10 novembre. L'evento di Pechino del 12 dicembre mette al centro cinque aree tematiche, con un'enfasi inedita su inference efficiente, accelerazione hardware e physical AI. Per chi valuta sta...
Un progetto open source, npu-driver, sta provando a spostare la composizione del desktop di Windows 11 dalla GPU alla NPU. Oggi viaggia a 2-3 Hz, ma punta a 30 Hz. Non è una vittoria prestazionale: è la dimostrazione che le NPU possono uscire dal ruo...
La voce su GeForce RTX 5090 con 64 e 96 GB di VRAM tocca il nodo critico per chi usa LLM in locale: la memoria video come collo di bottiglia. Un'analisi sulle implicazioni per self-hosted, quantization, TCO e sovranità dei dati, oltre il semplice ann...
Un tecnico riparatore statunitense avrebbe segnalato l'esistenza di RTX 5090 con 64 e 96 GB di VRAM. La notizia, da verificare, tocca il nodo centrale per l'inference locale: più memoria video significa modelli più grandi, quantization meno aggressiv...
Intel ha rilasciato la versione 26.40.40196.8 del Compute Runtime open-source per Windows e Linux. Il rilascio prepara il supporto alle future GPU della serie D e alle estensioni OpenCL LEO per Nova Lake P. Più che un aggiornamento di manutenzione, s...
