Lo stack AI self-hosted sta maturando attorno ai limiti di VRAM consumer, ai modelli open-weight locali e a tooling accelerato come GGUF, Vulkan, ROCm e runtime solo CPU. I download open-weight cinesi e le iniziative di AI sovrana stanno portando il deployment oltre le GPU da datacenter.
Il Mac M5 Ultra con 256 GB è sul mercato ma mancano benchmark seri: solo influencer che testano modelli da 8b. Questo vuoto informativo penalizza chi valuta l'hardware Apple per LLM self-hosted, favorendo di fatto l'ecosistema Nvidia. Senza dati ripe...
L'avvio del supporto GDDR7 nei driver Linux di AMD segnala un cambiamento per chi gestisce infrastrutture AI on-premise. La notizia, apparentemente tecnica, anticipa l'importanza della banda di memoria per l'inference LLM e riduce l'attrito di integr...
Il server AI locale open source Lemonade pubblica la 2026.39.1 e una release candidate della 2026.40. Oltre al nuovo schema di versioning, corregge lo streaming dei modelli su APU AMD e rimuove il supporto OpenMOSS su ROCm, circa 40 volte più lento d...
La campagna su Jev come "System One Models" ignora anni di classificatori zero-shot, embedding e reranker. Le prove pubbliche mostrano solo che un classificatore specializzato batte un LLM autoregressivo in costo e latenza, un fatto già noto.
AMD ha iniziato ad aggiungere il supporto a GDDR7 nei driver GPU per Linux. Il lavoro di bring-up anticipa l'arrivo delle schede e tocca direttamente la banda di memoria, una variabile chiave per l'inference LLM su hardware locale. Per chi gestisce i...
Hugging Face ha aggiunto il supporto nativo ai file GGUF in Transformers. Basta indicare il percorso del file quantizzato per caricare il modello e usare le API standard. Su Apple Silicon vengono riutilizzati i kernel ggml, con benchmark su M2 Max vi...
Lo stallo dei futures sulle GPU di CME Group, dopo le perplessità della CFTC, complica la pianificazione del TCO per chi costruisce infrastrutture on-premise e self-hosted per LLM.
La testimonianza scritta di Nathan Lambert al Congresso fotografa un sorpasso strutturale: da agosto 2025, i modelli open-weight cinesi contano 3,2 miliardi di download su Hugging Face contro 1,6 miliardi americani. Su OpenRouter il traffico aperto è...
Un utente self-hosted racconta di aver chiesto al suo LLM locale di modificare vLLM per ridurre i consumi in idle con CUDA_DISABLE_PERF_BOOST=1. La scena mostra potenzialità e rischi dell'automazione operativa: risparmio energetico reale, ma anche ne...
Il progetto vLLM introduce livelli hardware-agnostic in-tree per continuare a supportare acceleratori out-of-tree, GPU datacenter più vecchie e schede consumer. Su NVIDIA H100 il throughput totale resta entro il 3,4% dell'implementazione nativa. La m...
Il progetto open source ZLUDA ha aggiunto il supporto ad alcune API cuFFT di NVIDIA appoggiandosi a hipFFT, il componente dello stack ROCm/HIP di AMD. La novità amplia il perimetro di compatibilità CUDA su GPU non NVIDIA come le Radeon e segnala un c...
SupraLabs ha rilasciato Supra2-IMG, un modello text-to-image DiT da 100M parametri addestrato da zero in meno di 10 ore su una singola H100. Genera immagini 256×256 di qualità competitiva e funziona in locale: circa 20 secondi su CPU e 2 su GPU. Un c...
La maggior parte di chi usa LLM in locale non dispone di configurazioni multi-GPU: 16 GB di VRAM, e spesso 12, sono il tetto reale. Gli ultimi sei mesi hanno reso il coding agentico praticabile anche su questa fascia, per esempio con quantizzazioni d...
Parte da una tesi: i pattern d'uso dell'AI stanno cambiando il calcolo tra cloud e infrastruttura propria. Non un semplice ritorno all'on-premise, ma un riposizionamento legato a carichi prevedibili, controllo dei dati e TCO. L'analisi di AI-RADAR su...
Il team Qwen ha rilasciato Qwen-Image-2.1, modello di generazione e editing immagini open weights da 7 miliardi di parametri. Supporta trasparenza RGBA nativa, fino a 10 immagini di riferimento e controlli locali. L’architettura compatta punta a ridu...
Una domanda su r/LocalLlama chiede cosa sia JEV, un termine comparso ovunque in poche ore. La fonte non offre una definizione: resta aperto se si tratti di un nuovo LLM, di uno strumento o di altro. Il caso mostra come la rapidità con cui circolano s...
Von, un LLM open source da 395 milioni di parametri, gira interamente su CPU con 1-2 GB di memoria e latenze dichiarate tra 25 e 300 ms. Presentato su Reddit come sostituto di JEV, senza ottimizzazione iniziale, riapre il confronto su deployment loca...
halogen 0.12.0 risolve il degrado a contesto profondo: su Ryzen AI Max+ 395 con 128 GB, la decodifica di Qwen3.8-Flash-Next a un milione di token sale da 27,3 a 38,3 tok/s, il prefill scende da 21,2 a 17,9 minuti. Un dato utile per chi valuta LLM sel...
Annunciato Von, modello open source da 395 milioni di parametri presentato come drop-in replacement per JEV di TypeSafe. Funziona interamente su CPU con 1–2 GB di memoria e una latenza di 25–300 ms; secondo l'autore supera JEV in tutti i benchmark. I...
Un test one-shot su RTX 5090 confronta Bonsai 2 27B, Gemma 4 12B e Qwen 3.5 9B nella generazione di una pagoda voxel in three.js. Bonsai, in Quantization PQ2_0 da 7,2 GB, produce 106.396 token in 17,5 minuti a 101 token/s e risulta il migliore qualit...
inclusionAI pubblica su Hugging Face due checkpoint: Realtime-Venus-Omni, modello da 9B per interazione audio-video proattiva e full-duplex, e Realtime-Venus-Audio per conversazioni audio. Entrambi girano su backbone streaming con codice Transformers...
L'ultimo report State of Open Source AI di Mozilla certifica che l'AI aperta è pronta per la produzione: modelli open-weight arrivano a un terzo del traffico su OpenRouter e il divario con i modelli chiusi si riduce. In Europa, però, il vantaggio non...
Il 10 dicembre Tokyo ospita PyTorch Day Japan 2026 con PyTorch Foundation, Hugging Face, IBM e Mitsubishi Electric. Il CFP spinge su AI sovrana, modelli aperti su infrastruttura locale e inference edge. Registrazione a 5.000 yen fino all'11 novembre,...
Dalla lab AI arriva un segnale: un piccolo LLM potrebbe spostare l'attenzione dalla potenza bruta all'efficienza. Senza dati tecnici pubblici, la notizia vale come indicatore di direzione: modelli compatti hanno senso per chi valuta deployment locale...
Nuove ottimizzazioni per singole AMD Radeon R9700 raddoppiano le prestazioni con Qwen3.8 27B in formato NVFP4: fino a 153,1 token/s in decode, 3.619 token/s in prefill e 471 token/s aggregati con otto richieste concorrenti. I repository vLLM MXFP4 ag...
Intel ha pubblicato il Compute Runtime 26.35.39758.10 per Windows e Linux. L'aggiornamento tocca OpenCL e Level Zero, abilita LEO per Nova Lake e introduce l'ISA portabile PISA. Per i deployment self-hosted, un'ISA stabile tra generazioni di silicio ...
