L'inference AI si sposta dal cloud alle macchine locali, spinta dai personal AI computer Nvidia e dalle piattaforme AMD ad alta banda di memoria. Mini PC e workstation ora eseguono grandi modelli MoE interamente in locale, riducendo la dipendenza dal cloud.
Il progetto Kyojin porta due modelli MoE da circa 300 miliardi di parametri su un singolo mini PC con AMD Strix Halo e 128 GB di memoria. Misurati su Ryzen AI Max+ 395, GLM-5.3-Flash e MiMo-V2.6-Flash raggiungono prefill fino a 650 token/s e decode f...
La serie Ryzen AI Max 400 'Gorgon Halo' sta per arrivare sul mercato, ma il supporto Linux alla NPU era rimasto indietro. Una patch di enablement dovrebbe entrare nel kernel 7.4. Per chi valuta inference locale e self-hosted, il ritardo segnala un pr...
AMD introduce PerfOpt in Linux 7.4 per migliorare le prestazioni AI/LLM sulle Radeon integrate. I benchmark mostrano incrementi del 18-23% su hardware Ryzen, soprattutto entry-level. Un segnale per chi valuta l'inference locale: le iGPU diventano un'...
Il nuovo EPYC a 256 core porta una banda memoria pari al 91% di una RTX 5090 con controller a 16 canali DDR5-12800. La community LocalLLaMA reagisce tra sarcasmo e realismo per i costi dei moduli RDIMM ad alta densità e per il dubbio su quanti token ...
La spinta di Nvidia sui personal AI computer segnala un cambio di baricentro: l'inference LLM si avvicina al dispositivo locale. Non è solo hardware consumer, ma un nodo on-premise in miniatura che tocca VRAM, quantization, TCO e sovranità dei dati. ...
La spinta di Nvidia verso i personal AI computer, segnalata da DIGITIMES, indica un cambiamento strutturale: l'inference si sposta dal cloud a macchine locali. Per le aziende si aprono scenari di sovranità dei dati e TCO, ma anche vincoli di VRAM e q...
Un utente ha usato Qwen 27B su una RTX 4090 per produrre motion graphics ispirate ai recenti post con Opus 5.5. Il progetto, costruito con il framework Accuretta, mostra che la generazione creativa locale comincia a coprire casi d'uso finora riservat...
