I fornitori di hardware e gli utenti stanno spostando l'inference LLM dal cloud alle macchine locali, spinti da sovranità dei dati, controllo dei costi, nuovo silicio per l'IA personale e forte adozione di modelli open-weight. Apple, Nvidia, Qualcomm e AMD stanno spingendo capacità di IA on-device e on-premise, mentre il supporto Linux sta maturando.
La spinta di Nvidia sui personal AI computer segnala un cambio di baricentro: l'inference LLM si avvicina al dispositivo locale. Non è solo hardware consumer, ma un nodo on-premise in miniatura che tocca VRAM, quantization, TCO e sovranità dei dati. ...
La spinta di Nvidia verso i personal AI computer, segnalata da DIGITIMES, indica un cambiamento strutturale: l'inference si sposta dal cloud a macchine locali. Per le aziende si aprono scenari di sovranità dei dati e TCO, ma anche vincoli di VRAM e q...
Un utente ha usato Qwen 27B su una RTX 4090 per produrre motion graphics ispirate ai recenti post con Opus 5.5. Il progetto, costruito con il framework Accuretta, mostra che la generazione creativa locale comincia a coprire casi d'uso finora riservat...
Qualcomm presenta due system-on-chip con matrix core nella GPU e supporto LPDDR6. Non è una corsa ai benchmark: è un segnale sul confine della sovranità dei dati, che si sposta nel dispositivo. L'analisi AI-Radar sui vincoli di memoria, Quantization ...
Qualcomm ha presentato i nuovi SoC Snapdragon 8 Elite Gen 6 e Elite Extreme Gen 6 con core Oryon, GPU matrix cores e supporto LPDDR6. Più che la potenza grezza, il segnale è la spinta dell'Inference locale: i carichi AI si spostano sul dispositivo. R...
Il kernel Linux 7.4 introduce nel driver VC4 un supporto migliore al reset della GPU Broadcom V3D, insieme a nuovi helper HDMI 2.0. Per le Raspberry Pi usate come nodi locali, recuperare da un errore della GPU senza riavviare il sistema migliora la d...
Nvidia presenta RTX Mega Geometry 2.0, che gestisce la geometria del ray tracing caricandola in VRAM su richiesta. L'approccio riduce la pressione sulla memoria video e segnala una direzione importante per i carichi locali, inclusi quelli legati all'...
Un utente ha testato un Mac Studio con M5 Ultra, 256 GB di RAM e GPU a 80 core per inference agentica con GLM-5.3-Flash. I risultati lo soddisfano, ma segnala che la GPU sembra sottodimensionata rispetto alla memoria, sollevando dubbi sull'utilità di...
Qualcomm ha diffuso patch open source per il driver GPU Adreno 850 nel SoC Mahua, destinato ai modelli inferiori della famiglia Snapdragon X2. La tempistica, un giorno dopo l'annuncio del supporto Linux per X2, indica che il codice aperto diventa par...
Una RTX 5070 da 12 GB esegue Qwen3.8-Flash-Next a 65,1 token/s con un motore di inference dedicato. Il progetto Strata mostra come un runtime specializzato possa battere llama.cpp sulla stessa precisione numerica, portando l'elaborazione del prompt a...
Un utente documenta l'uso locale di Qwen-3.8-27B su Raspberry Pi con quantization Q4_K_S e contesto Q8_0. Costi di 2,4 centesimi per 1M token in input e 70 centesimi per 1M in output, paragonabili ai provider più economici. L'esperienza evidenzia pot...
Il Mac M5 Ultra con 256 GB è sul mercato ma mancano benchmark seri: solo influencer che testano modelli da 8b. Questo vuoto informativo penalizza chi valuta l'hardware Apple per LLM self-hosted, favorendo di fatto l'ecosistema Nvidia. Senza dati ripe...
L'avvio del supporto GDDR7 nei driver Linux di AMD segnala un cambiamento per chi gestisce infrastrutture AI on-premise. La notizia, apparentemente tecnica, anticipa l'importanza della banda di memoria per l'inference LLM e riduce l'attrito di integr...
Qualcomm ha annunciato lo Snapdragon 8 Elite Extreme Gen 6 e, il giorno dopo, ha pubblicato le prime patch per il kernel Linux dedicate alla GPU Adreno 850 con il driver MSM. La tempistica segnala un'attenzione crescente all'abilitazione open source ...
AMD ha iniziato ad aggiungere il supporto a GDDR7 nei driver GPU per Linux. Il lavoro di bring-up anticipa l'arrivo delle schede e tocca direttamente la banda di memoria, una variabile chiave per l'inference LLM su hardware locale. Per chi gestisce i...
Lo stallo dei futures sulle GPU di CME Group, dopo le perplessità della CFTC, complica la pianificazione del TCO per chi costruisce infrastrutture on-premise e self-hosted per LLM.
La testimonianza scritta di Nathan Lambert al Congresso fotografa un sorpasso strutturale: da agosto 2025, i modelli open-weight cinesi contano 3,2 miliardi di download su Hugging Face contro 1,6 miliardi americani. Su OpenRouter il traffico aperto è...
La maggior parte di chi usa LLM in locale non dispone di configurazioni multi-GPU: 16 GB di VRAM, e spesso 12, sono il tetto reale. Gli ultimi sei mesi hanno reso il coding agentico praticabile anche su questa fascia, per esempio con quantizzazioni d...
