Il progetto ORL (On-Policy Residual Learning) promette di accelerare i diffusion LLM senza sacrificare la qualità. Su una singola RTX 5090 il team segnala 2.788 token/s con LLaDA-2.1-mini in NVFP4; il motore di inference dlmrt, open source, sfrutta CUDA graph e supporta le GPU Blackwell. Numeri di picco in modalità single-request, ma il valore sta nel cambio di prospettiva per chi valuta deployment self-hosted.
Al Summit Europe l'attenzione va a GPU e AI, ma la parte più concreta viene dai piani di conformità CRA, metriche OSPO e obiettivi di migrazione come il 70% open source di Berlino entro il 2032. La burocrazia diventa infrastruttura.
Bolt Graphics cerca 100 milioni di dollari per sviluppare Zeus, una GPU che punta a sfidare Nvidia e AMD oltre i soli carichi AI. La fonte non riporta specifiche tecniche, ma la mossa segnala un tentativo di creare un terzo polo hardware. Il successo dipenderà meno dal silicio e più dall'ecosistema software, dal TCO e dalla capacità di convincere chi gestisce pipeline self-hosted.
Un test con quattro Radeon AI PRO R9700 reali mostra che il motore affinity gestisce la configurazione multi-GPU senza output degeneri. La quantization a 2,875 bpw tiene 11.008 esperti in VRAM: 79 token/s in greedy, nessun host pool allocato. Il bug era nella simulazione con due schede, non nell'esecuzione multi-rank.
Un ritocco nel compositor di GNOME 52 limita le copie inutili tra le GPU nei portatili ibridi. Meno spreco di banda e batteria, con un effetto indiretto su chi usa la GPU discreta anche per l'inference locale.
La prova di un LLM da 24 miliardi di parametri su AMD W7900, con contesto da 128.000 token e circa 95 token al secondo, segnala che l'inference on-premise si consolida anche fuori dall'ecosistema NVIDIA. L'analisi di AI-Radar esplora trade-off, sovranità dei dati e TCO.
La circolazione di RTX 4090 contraffatte, quasi indistinguibili all'ispezione visiva e ai primi test software, trasforma l'acquisto di GPU consumer per LLM on-premise in un rischio strutturale. Il danno non si limita alla sostituzione: include instabilità sotto carico, benchmark inaffidabili e TCO più alto. Per chi punta su self-hosted e sovranità dei dati, la provenienza hardware diventa competenza infrastrutturale, non solo logistica.
Qualcomm presenta due system-on-chip con matrix core nella GPU e supporto LPDDR6. Non è una corsa ai benchmark: è un segnale sul confine della sovranità dei dati, che si sposta nel dispositivo. L'analisi AI-Radar sui vincoli di memoria, Quantization e TCO per chi valuta LLM locali.
L'avvio del supporto GDDR7 nei driver Linux di AMD segnala un cambiamento per chi gestisce infrastrutture AI on-premise. La notizia, apparentemente tecnica, anticipa l'importanza della banda di memoria per l'inference LLM e riduce l'attrito di integrazione per ambienti self-hosted. Un segnale da leggere in ottica TCO e sovranità dei dati, più che come annuncio di prodotto.
La quotazione di Enflame chiude il ciclo delle quattro IPO dei produttori GPU cinesi. Il segnale finanziario è chiaro: Pechino considera i chip per AI una priorità strategica. Ma il capitale raccolto non sana da solo il divario di ecosistema software, VRAM, bandwidth e compatibilità con pipeline di fine-tuning e inference. Per infrastrutture self-hosted e on-premise, la vera partita si gioca su driver, strumenti e maturità operativa.
La produzione degli HyperAccel sul nodo a 4nm di Samsung segnala il passaggio degli acceleratori dedicati ai LLM da sperimentazione a logica industriale. La capacità limitata introduce pressioni su consegne e allocazione dei wafer. Per i deployment self-hosted, gli ASIC promettono TCO più basso su carichi stabili, ma vincolano l'hardware a modelli e schemi di quantization poco flessibili. Il trade-off va valutato oltre il costo di acquisto.
L’ingresso di Cambricon come membro Platinum della PyTorch Foundation segnala un cambio di fase: controllare lo stack software open source conta quanto la potenza dei chip. Per chi valuta LLM self-hosted, il supporto nativo di backend diversi riduce dipendenza da CUDA, manutenzione e TCO. Restano da verificare continuità e maturità dei contributi upstream.
Un setup su Reddit mostra un modello dense da 27 miliardi di parametri a 47-50 token/s con contesto da 100.000 token su una RTX 4070 Ti SUPER da 16 GB. Il segnale non è il modello, ma il controllo fine del runtime: cache KV asimmetrica kvarn5/kvarn4, coda di 1.024 token a piena precisione e decodifica speculativa. Sposta il vincolo dalla VRAM al software di serving, con implicazioni per TCO e sovranità dei dati.
La workstation HP Z4 G6i unisce Xeon serie 600, grafica RTX e supporto Linux dichiarato, ma la configurazione top supera i 41mila dollari. Il segnale per AI-Radar non è la potenza assoluta: è la legittimazione delle macchine da lavoro come nodi on-premise per LLM, inference locale e fine-tuning su dati sensibili. Restano da verificare GPU, VRAM e gestione operativa, variabili decisive per valutarne il TCO e l'uso reale.
Un report non verificato descrive una sessione di quasi venti ore di coding agentico con Qwen3.8-27B Q6 su RTX 3090 e RTX 3060, a 60–63 token/s. Il dato, se replicato, sposta il confine tra cloud e self-hosted. Analizziamo trade-off, TCO e sovranità dei dati nella pipeline locale.
Il raddoppio del prezzo di listino della RTX PRO 6000 Blackwell, da meno di 8.000 a 16.000 dollari, segnala una domanda enterprise anelastica e un potere di prezzo che ridisegna i calcoli TCO per l'on-premise. La scheda da 96 GB di VRAM diventa un filtro: cloud, sovranità dei dati e accesso degli sviluppatori cambiano. Servono scenari, non budget basati sui vecchi listini.
Una manciata di righe di codice in llama.cpp moltiplica fino a 2,7 volte le prestazioni delle GPU Intel Battlemage su contesti di 118.000 token quando la cache KV è quantizzata. Il guadagno è talmente netto da trasformare una scheda da gaming in un’alternativa concreta per l’inference locale di modelli da 35 miliardi di parametri, abbattendo il costo totale di possesso e aprendo scenari inediti per chi gestisce dati sensibili on-premise.
Il rincaro del 45% sulle DRAM imposto da PSMC non è un episodio isolato: è il sintomo di una tensione strutturale che la domanda di AI sta scaricando sulla filiera delle memorie. Per chi ospita LLM on-premise l’impatto è diretto sul TCO, mentre il nuovo progetto 3D AI Foundry promette soluzioni integrate ma solo sul medio termine. L’analisi delle implicazioni immediate e delle strategie per assorbire lo shock.
Una patch di tre linee per llama.cpp corregge un errore di precisione che affliggeva da anni le GPU Tesla P100, migliorando la fedeltà dei calcoli di oltre 2000 volte senza impatto prestazionale. La scoperta ridisegna il rapporto costo-efficacia di queste schede da 80 dollari per l’inference on-premise, solleva interrogativi sulla verifica dell’aritmetica a basso livello nei framework open-source e rafforza il legame tra controllo dello stack e qualità del modello.
**The Pocket-Sized Behemoth: A Review of the GMKtec Evo X2**
2026-01-26