La crescente domanda di VRAM sta ridisegnando i prezzi delle GPU e spinge la sperimentazione con AMD, Intel, Apple e perfino console per l'inference locale. Le installazioni enterprise e homelab guardano sempre più a banda, capacità di memoria e alimentazione, non solo alla pura potenza di calcolo.
Un homelab, non un vendor, ha documentato un LLM da 27 miliardi di parametri con 262.000 token di contesto su una singola Radeon RX 9060 XT da 16 GB di VRAM, usando quantization, streaming della cache KV e fix software. Il segnale: il costo d'ingress...
Un homelab con una singola Radeon RX 9060 XT da 16 GB e 24 GB di RAM DDR5 esegue un LLM da 27 miliardi di parametri con 262.000 token di contesto. Il setup usa quantization IQ4_XS, cache KV streaming e registra 42,7 token/s in generazione a 20k di co...
Il progetto open source Openspline aggiunge uno strato avatar alle pipeline vocali esistenti: da un'immagine genera un volto parlante con labiale sincronizzato, eseguito localmente sulla GPU. Il modello lite supera i 90 FPS su una NVIDIA RTX 4090 e s...
Bolt Graphics cerca 100 milioni di dollari per sviluppare Zeus, una GPU che punta a sfidare Nvidia e AMD oltre i soli carichi AI. La fonte non riporta specifiche tecniche, ma la mossa segnala un tentativo di creare un terzo polo hardware. Il successo...
Un test con quattro Radeon AI PRO R9700 reali mostra che il motore affinity gestisce la configurazione multi-GPU senza output degeneri. La quantization a 2,875 bpw tiene 11.008 esperti in VRAM: 79 token/s in greedy, nessun host pool allocato. Il bug ...
La RTX 5060 Ti da 16 GB tocca 1.292 dollari in Giappone con aumenti fino al 144%; la RTX 5080 supera i 2.400. Più che un problema di gaming, è il segnale di una domanda di VRAM contesa con l’inference locale di LLM. I prezzi finali mettono in discuss...
La prova di un LLM da 24 miliardi di parametri su AMD W7900, con contesto da 128.000 token e circa 95 token al secondo, segnala che l'inference on-premise si consolida anche fuori dall'ecosistema NVIDIA. L'analisi di AI-Radar esplora trade-off, sovra...
Un utente ha condiviso un'esperienza positiva con il modello LiquidAI LFM2.5-24-A2B (24B parametri), evidenziando performance elevate (~95 tps) su GPU AMD W7900. Il modello, che richiede 30GB di VRAM per la quantization Q8 con un contesto di 128k tok...
Siemens investe in Skeleton, portando la valutazione sopra il miliardo. Obiettivo: produzione USA e R&D in Silicon Valley per sistemi di alimentazione che eliminano armoniche e oscillazioni nei cluster GPU, con risparmi energetici fino al 40% e migli...
Secondo il titolo della fonte, un gruppo di ricercatori Apple ha lavorato a un progetto chiamato Minions per aggregare Mac inattivi in una cloud GPU virtuale. I dettagli tecnici non sono disponibili, ma l'idea tocca un tema centrale: sfruttare hardwa...
Una PS5 sbloccata esegue Qwen 27B a circa 20 token/s sulla GPU della console. L'esperimento, emerso su Reddit, mostra come hardware consumer con memoria unificata possa sostenere inference self-hosted su modelli da 27 miliardi di parametri, abbassand...
Intel ha trasformato Crescent Island in una linea commerciale: D-Series. La scheda D270 integra 32 core Xe3P, 256 XMX engine, fino a 480 GB di LPDDR5X e 1,5 TB/s di banda. Le prestazioni dichiarate arrivano a 1,3 PetaFLOPS FP8, con supporto da FP4 a ...
Intel ha annunciato la serie GPU D, erede dei prodotti noti come Crescent Island e pensata per l’inference in ambito enterprise. L’annuncio non include specifiche su VRAM o prestazioni, ma il cambio di denominazione segnala un posizionamento più dire...
Un post mezzo serio su Reddit immagina che nel 2030 possedere un cluster GPU in casa venga visto come avere un'arma per la difesa domestica. Il cartello 'we don't call tech support' con una V100 stilizzata diventa il simbolo di una postura: controllo...
Intel svela nome e specifiche della scheda di inference per data center Crescent Island: D-Series e D270 con 1,3 PFLOPS FP8 denso e 1,5 TB/s di banda memoria. Un indizio per chi valuta hardware on-prem per LLM.
Un rumor da Reddit indica una RTX 5080 da 24 GB nel primo trimestre 2027, ma i partner non hanno ancora dettagli. Per chi fa inference locale di LLM, la VRAM è il vincolo chiave. Il silenzio informativo rallenta integratori e progettisti di macchine ...
Un acquirente ha pagato 350 dollari per una RTX 4090 rotta, ma il tecnico ha scoperto una GPU falsa e memorie sostituite. La truffa, documentata da un riparatore russo, usa PCB dummy sofisticati. Per chi costruisce infrastrutture LLM on-premise, l'ep...
Biren Technology punta alla GPU BR20X per sistemi AI fino a 1.024 chip, secondo Yicai. Le restrizioni statunitensi però frenano la produzione di massa nel cloud. L'analisi mostra perché il salto di scala non è solo una sfida hardware: tocca supply ch...
Una classifica dal basso mette in fila i modelli eseguibili su GPU consumer con 10-16GB di VRAM e 26-32GB di RAM. L'attenzione è su velocità di almeno 10 token/s, coerenza, gestione di prompt complessi e presenza di pattern ripetitivi. Emergono vinco...
Un modder registra una riduzione di 19 gradi sull'hotspot spostando la GPU in una posizione non convenzionale. Il dato, apparentemente minimo, riapre il confronto sulla progettazione termica dei sistemi locali per LLM: la scelta degli slot e dei flus...
