Crescente attenzione sull'esecuzione di LLM on-premise con hardware consumer e workstation, dai limiti di VRAM ai modelli solo CPU e alle lunghe esecuzioni autonome.
La maggior parte di chi usa LLM in locale non dispone di configurazioni multi-GPU: 16 GB di VRAM, e spesso 12, sono il tetto reale. Gli ultimi sei mesi hanno reso il coding agentico praticabile anche su questa fascia, per esempio con quantizzazioni d...
Parte da una tesi: i pattern d'uso dell'AI stanno cambiando il calcolo tra cloud e infrastruttura propria. Non un semplice ritorno all'on-premise, ma un riposizionamento legato a carichi prevedibili, controllo dei dati e TCO. L'analisi di AI-RADAR su...
Von, un LLM open source da 395 milioni di parametri, gira interamente su CPU con 1-2 GB di memoria e latenze dichiarate tra 25 e 300 ms. Presentato su Reddit come sostituto di JEV, senza ottimizzazione iniziale, riapre il confronto su deployment loca...
Annunciato Von, modello open source da 395 milioni di parametri presentato come drop-in replacement per JEV di TypeSafe. Funziona interamente su CPU con 1–2 GB di memoria e una latenza di 25–300 ms; secondo l'autore supera JEV in tutti i benchmark. I...
La domanda di UkisAI su Bonsai 2 Swift non riguarda un semplice aggiornamento. Mette in luce come il TCO degli LLM locali dipenda sempre più dal comportamento a runtime: token sprecati, loop di overthinking e scelte di quantization ridefiniscono l'ef...
Prism-LM ha rilasciato i modelli Bonsai 2 basati su Qwen3.8, valutati con lo stesso metodo usato per il resto del confronto. Il risultato, circa 91,5% su benchmark composito, è un punto di riferimento relativo, non un dato assoluto. La scelta di usar...
Un test one-shot su RTX 5090 confronta Bonsai 2 27B, Gemma 4 12B e Qwen 3.5 9B nella generazione di una pagoda voxel in three.js. Bonsai, in Quantization PQ2_0 da 7,2 GB, produce 106.396 token in 17,5 minuti a 101 token/s e risulta il migliore qualit...
Dopo che i download di Swift Qwen3.8 27B sono passati da 100mila a 150mila in una notte, UkisAI chiede se applicare la stessa cura a Bonsai 2, che nei test mostra loop di overthinking e alto consumo di token. Il team chiede alla community se puntare ...
I documenti di Bonsai mostrano che Ternary Bonsai 2 27B ottiene 52,8 su Terminal-Bench 2.1 e 60,8 su SWE-bench Verified, circa tre quarti del modello full-precision usato come confronto. Ma il nome del concorrente è sbagliato e il claim del 98,2% di ...
MDT trasforma la divergenza tra volto, voce e testo nel segnale centrale dell'analisi clinica, raggiungendo 0,7408 Macro F1 sul test BAH e addestrandosi in meno di venti minuti su singola GPU. Per AI-Radar il dato chiave è operativo: un modello che c...
Il 10 dicembre Tokyo ospita PyTorch Day Japan 2026 con PyTorch Foundation, Hugging Face, IBM e Mitsubishi Electric. Il CFP spinge su AI sovrana, modelli aperti su infrastruttura locale e inference edge. Registrazione a 5.000 yen fino all'11 novembre,...
Il modello open source di UkisAI supera i 100mila download ed è primo tra i fine-tuning su Hugging Face. Penalizza i pattern di overthinking nei piccoli LLM: consumo di token -58,3%, velocità x1,95, senza perdere accuratezza. In arrivo Swift1.5 e Swi...
Nuove ottimizzazioni per singole AMD Radeon R9700 raddoppiano le prestazioni con Qwen3.8 27B in formato NVFP4: fino a 153,1 token/s in decode, 3.619 token/s in prefill e 471 token/s aggregati con otto richieste concorrenti. I repository vLLM MXFP4 ag...
Intel ha pubblicato il Compute Runtime 26.35.39758.10 per Windows e Linux. L'aggiornamento tocca OpenCL e Level Zero, abilita LEO per Nova Lake e introduce l'ISA portabile PISA. Per i deployment self-hosted, un'ISA stabile tra generazioni di silicio ...
Un esperimento con un LLM da 27 miliardi di parametri in quantization a 4 bit su una RTX 3090, per 63 ore, non risolve Riemann ma mostra la tenuta di pipeline agentiche self-hosted. Il valore non è il teorema: è la stabilità di processo, la gestione ...
Un ricercatore ha lasciato un Qwen 3.8 da 27B in quantization a 4 bit e con 100K token di contesto lavorare per 63 ore su una singola RTX 3090. Ha generato oltre 50 milioni di token senza risolvere la congettura di Riemann, ma mostrando memoria organ...
Un post su Reddit racchiude in un nome-file l’intero lessico degli LLM open source: base Qwen, 27 miliardi di parametri, etichette 'Uncensored' e formato GGUF. L’analisi parte da questa stringa per mostrare come la nomenclatura comunitaria premi il r...
Perplexity rilascia un agente AI locale per Windows, ma il requisito minimo di 24GB di VRAM su GPU RTX restringe l'accesso a hardware di fascia alta. La scelta segnala una direzione precisa: gli agenti multistep girano in locale solo con memoria vide...
Un Epyc 7663, 256 GB di RAM ECC e una RTX 5090 portano un LLM MoE da 151 GB a 24 token/s in quantization Q8_K_XL. Il caso ribalta l'assunto che serva VRAM aggregata pari ai pesi: il bilanciamento tra CPU, banda di memoria e PCIe diventa il vero vinco...
Un utente ha testato DeepSeek V4 Flash in self-hosted con un Epyc 7663, 256 GB di RAM ECC e una RTX 5090 da 32 GB. Con quantization Q8_K_XL e contesti da 100-128k token, ottiene 23,8-24,6 token/s. Il dato mostra come un LLM da circa 151 GB di pesi po...
Un utente di Reddit racconta come i suggerimenti della community abbiano trasformato un setup frustrante in un LLM locale funzionante con Home Assistant e input visivi. La barriera del self-hosted non è l'hardware ma la configurazione, e la community...
llama.cpp abilita MTP per GLM-4.5-Air, un MoE da 106 miliardi di parametri con soli 12 miliardi attivi. La novità accelera l'inference su macchine con molta memoria ma calcolo limitato, come Strix Halo, DGX Spark e RTX 3090, e rafforza l'ecosistema d...
Un team ha creato quantizzazioni GGUF di Qwen 3.8 27B e le ha confrontate su una RTX PRO 6000 con un compito di costruzione di isole voxel. Il Q4_K_M occupa 17,1 GB e decodifica a 67 token/s, con un accordo top-1 del 95,6% rispetto a BF16. Le differe...
Un test one-shot chiede a qwen3.8:27b in FP8 su vLLM e RTX 6000 Pro 96GB di convertire 2,1 MB di C in HTML/three.js. Con contesto da 262.144 token, il file non entra nella finestra e l'agente deve navigarlo. Opus 5 cloud chiude in 21 minuti con outpu...
Un utente con M1 Max non ne può più: Qwen 3.8 27B in modalità xhigh impiega una notte per un singolo task. Chiede una variante 35B A3B, meno brillante ma più veloce. La richiesta mette a nudo il conflitto tra long-thinking e hardware consumer nel sel...
Un test di hosting su Modal con 8 B300 mostra 92 token/s in decode e 190 dollari per milione di token di output. La variante 1-bit su 8 A100 costa meno all'ora ma triplica il costo per token. L'analisi della prova rivela perché il prezzo orario è una...
La nuova release di llama.cpp, con sorgenti e build precompilate, segna una tappa per l'inference self-hosted. Meno attrito per sviluppatori e aziende che vogliono eseguire LLM in locale, più pressione sui servizi cloud-only.
Un report non verificato descrive una sessione di quasi venti ore di coding agentico con Qwen3.8-27B Q6 su RTX 3090 e RTX 3060, a 60–63 token/s. Il dato, se replicato, sposta il confine tra cloud e self-hosted. Analizziamo trade-off, TCO e sovranità ...
Un report riferisce una sessione di quasi venti ore di coding agentico con Qwen3.8-27B Q6 su una RTX 3090 e una RTX 3060, a 60–63 token/s. Il caso mostra come un LLM di fascia media con quantization Q6 possa sostenere carichi prolungati on-prem su ha...
Un test su RTX 4060 Ti da 16 GB mostra Qwen 3.8 27B a 30-35 token/s con quantization Q3_xxs, buona tenuta su coding e logica, ma fragilità conversazionali. Emerge un cambio di prospettiva per chi self-hosta LLM su GPU consumer.
Su una RTX 5090 da 32 GB, un nuovo GGUF NVFP4 per Qwen3.8 27B raggiunge 6.250 token/s nel prefill con prompt da 2048 token, il 50% in più di un Q4_0 con uguale ingombro di memoria e il 4-7% in più di altri NVFP4. Include una testa MTP quantizzata e i...
La scadenza dell'abbonamento Pro a Claude Code ha spinto un utente a passare a un LLM locale Qwen3.8-27b su GPU 5090M con 24GB di VRAM e a Pi. Il test su un'app per previsioni aurorali ha mostrato tempi simili, UI migliore per Pi ma scienza migliore ...
Un costruttore ha validato una configurazione self-hosted con 16 RTX 5060 Ti da 16 GB, due switch Broadcom/PLX PEX88096 e una Xeon Gold 6330. Il sistema serve DeepSeek V4 Flash-0731 con contesto fino a 1 milione di token e, in una configurazione, gen...
Un test bare-metal con due RTX 3090, vLLM e decodifica speculativa DFlash2 porta Qwen3.8-27B a 218 token/s su singola richiesta, con prefill fino a 1342 token/s e contesto massimo di 131k. Il setup usa quantization INT4 AutoRound, 22,3 GB di VRAM per...
Un carico agentico di oltre otto ore su una singola RTX PRO 6000, con DeepSeek Harness e NInfer, ha gestito 966 chiamate modello, 131,2 milioni di token in input e 853,3 mila in output con zero errori di generazione. Il confronto con i listini API st...
Il progetto abbandona i numeri di build sequenziali e adotta il versioning semantico. Un cambiamento che pesa soprattutto nei contesti self-hosted e on-premise, dove la prevedibilità delle API e la stabilità delle pipeline di inference contano più de...
Il framework per LLM eterogenei KTransformers pubblica la versione 0.7 con supporto AVX-512 esteso, un intervento mirato sui server AMD EPYC. Per chi opera in self-hosted, il messaggio è strutturale: la CPU non è più un ripiego, ma una componente att...
