Vendor e dispositivi puntano sempre più sull'inference locale, dai personal AI computer ai SoC di fascia alta fino a sonde edge e test orbitali. Il fattore comune è spostare i carichi LLM vicino a dati e utenti per latenza, controllo e sovranità.
La spinta di Nvidia sui personal AI computer segnala un cambio di baricentro: l'inference LLM si avvicina al dispositivo locale. Non è solo hardware consumer, ma un nodo on-premise in miniatura che tocca VRAM, quantization, TCO e sovranità dei dati. ...
La spinta di Nvidia verso i personal AI computer, segnalata da DIGITIMES, indica un cambiamento strutturale: l'inference si sposta dal cloud a macchine locali. Per le aziende si aprono scenari di sovranità dei dati e TCO, ma anche vincoli di VRAM e q...
Qualcomm presenta due system-on-chip con matrix core nella GPU e supporto LPDDR6. Non è una corsa ai benchmark: è un segnale sul confine della sovranità dei dati, che si sposta nel dispositivo. L'analisi AI-Radar sui vincoli di memoria, Quantization ...
Qualcomm ha presentato i nuovi SoC Snapdragon 8 Elite Gen 6 e Elite Extreme Gen 6 con core Oryon, GPU matrix cores e supporto LPDDR6. Più che la potenza grezza, il segnale è la spinta dell'Inference locale: i carichi AI si spostano sul dispositivo. R...
Un utente ha testato un Mac Studio con M5 Ultra, 256 GB di RAM e GPU a 80 core per inference agentica con GLM-5.3-Flash. I risultati lo soddisfano, ma segnala che la GPU sembra sottodimensionata rispetto alla memoria, sollevando dubbi sull'utilità di...
Google lancia il 1° ottobre il satellite MVP, grande quanto un frigorifero, con quattro acceleratori TPU custom e pannelli solari da circa un kilowatt. Il test, parte del progetto Suncatcher, valida l'idea di costellazioni di satelliti per training e...
Il Mac M5 Ultra con 256 GB è sul mercato ma mancano benchmark seri: solo influencer che testano modelli da 8b. Questo vuoto informativo penalizza chi valuta l'hardware Apple per LLM self-hosted, favorendo di fatto l'ecosistema Nvidia. Senza dati ripe...
Intel sposta il focus sull'AI agentica: il coordinamento tra CPU e GPU diventa il fulcro. La mossa segnala una rilettura dell'hardware per workload che non si esauriscono in una singola inference, ma concatenano ragionamento, tool calling e memoria. ...
AstroForge affiderà alla prossima sonda Autonomy-1 un modello transformer di piccole dimensioni con il compito di prendere decisioni a bordo. L’inference locale diventa necessaria per gestire l’assenza di connettività e i vincoli fisici dello spazio....
