Test della community e annunci dei vendor mostrano LLM eseguiti localmente su GPU accessibili, workstation e dispositivi edge, da AMD Radeon/W7900 alle Intel D-Series e persino una PS5 sbloccata. VRAM, lunghezza del contesto e serving efficiente sono ora centrali per il deployment self-hosted dell'IA.
Un test locale con EmbeddingGemma2 mostra la ricerca semantica di testo dentro immagini su una GPU consumer: 3.003 screenshot indicizzati in 510 secondi, vettori a 768 dimensioni e modello Q8 da 330 MB. Ma la qualità dipende molto dalla formulazione ...
Un homelab, non un vendor, ha documentato un LLM da 27 miliardi di parametri con 262.000 token di contesto su una singola Radeon RX 9060 XT da 16 GB di VRAM, usando quantization, streaming della cache KV e fix software. Il segnale: il costo d'ingress...
Un homelab con una singola Radeon RX 9060 XT da 16 GB e 24 GB di RAM DDR5 esegue un LLM da 27 miliardi di parametri con 262.000 token di contesto. Il setup usa quantization IQ4_XS, cache KV streaming e registra 42,7 token/s in generazione a 20k di co...
Il progetto open source Openspline aggiunge uno strato avatar alle pipeline vocali esistenti: da un'immagine genera un volto parlante con labiale sincronizzato, eseguito localmente sulla GPU. Il modello lite supera i 90 FPS su una NVIDIA RTX 4090 e s...
Il progetto ORL (On-Policy Residual Learning) promette di accelerare i diffusion LLM senza sacrificare la qualità. Su una singola RTX 5090 il team segnala 2.788 token/s con LLaDA-2.1-mini in NVFP4; il motore di inference dlmrt, open source, sfrutta C...
Gli ingegneri software di Intel hanno rilasciato LLM-Scaler-vLLM PV 1.5, uno stack Docker pensato per semplificare l'inference di LLM su hardware Intel Arc. La novità segnala un investimento software mirato a rendere le GPU discrete dell'azienda più ...
Un test con quattro Radeon AI PRO R9700 reali mostra che il motore affinity gestisce la configurazione multi-GPU senza output degeneri. La quantization a 2,875 bpw tiene 11.008 esperti in VRAM: 79 token/s in greedy, nessun host pool allocato. Il bug ...
La prova di un LLM da 24 miliardi di parametri su AMD W7900, con contesto da 128.000 token e circa 95 token al secondo, segnala che l'inference on-premise si consolida anche fuori dall'ecosistema NVIDIA. L'analisi di AI-Radar esplora trade-off, sovra...
Un utente ha condiviso un'esperienza positiva con il modello LiquidAI LFM2.5-24-A2B (24B parametri), evidenziando performance elevate (~95 tps) su GPU AMD W7900. Il modello, che richiede 30GB di VRAM per la quantization Q8 con un contesto di 128k tok...
Una PS5 sbloccata esegue Qwen 27B a circa 20 token/s sulla GPU della console. L'esperimento, emerso su Reddit, mostra come hardware consumer con memoria unificata possa sostenere inference self-hosted su modelli da 27 miliardi di parametri, abbassand...
Intel ha trasformato Crescent Island in una linea commerciale: D-Series. La scheda D270 integra 32 core Xe3P, 256 XMX engine, fino a 480 GB di LPDDR5X e 1,5 TB/s di banda. Le prestazioni dichiarate arrivano a 1,3 PetaFLOPS FP8, con supporto da FP4 a ...
Intel ha annunciato la serie GPU D, erede dei prodotti noti come Crescent Island e pensata per l’inference in ambito enterprise. L’annuncio non include specifiche su VRAM o prestazioni, ma il cambio di denominazione segnala un posizionamento più dire...
Intel svela nome e specifiche della scheda di inference per data center Crescent Island: D-Series e D270 con 1,3 PFLOPS FP8 denso e 1,5 TB/s di banda memoria. Un indizio per chi valuta hardware on-prem per LLM.
