Il tooling per l'inference locale si sta consolidando: llama.cpp adotta il versioning semantico, le ottimizzazioni AMD/ROCm arrivano in PyTorch mainline e gli aggiornamenti del kernel Linux migliorano I/O e driver. Lemonade, KTransformers e release GGUF-first mostrano un deployment on-premise più stabile e prevedibile.
Sono comparsi su Hugging Face tre nuovi modelli Ornith 1.5: 9B, 35B-A3B e 397B, tutti con versioni GGUF. La disponibilità immediata del formato quantizzato segnala un'attenzione diretta al deployment locale e self-hosted, spingendo a riflettere sui t...
Gli aggiornamenti Rust per il kernel Linux 7.3 includono le prime correzioni per usare il backend GCC al posto di LLVM nel compilatore rustc. È un passo verso toolchain alternative per build locali, architetture meno coperte e maggiore controllo dell...
La piattaforma Hugging Face ha superato i tre milioni di modelli pubblicati sull'Hub. Il numero include versioni quantizzate, fine-tuning e conversioni, più che modelli base distinti. Per chi gestisce stack locali, il traguardo sposta il collo di bot...
Un nuovo paper sull'offloading LLVM verso GPU con Rust discute le prospettive di sfruttare la sicurezza della memoria nei kernel GPU. Rispetto a C++/CUDA/HIP, il modello di Rust può ridurre intere classi di bug critici. Per deploy self-hosted questo ...
Il progetto abbandona i numeri di build sequenziali e adotta il versioning semantico. Un cambiamento che pesa soprattutto nei contesti self-hosted e on-premise, dove la prevedibilità delle API e la stabilità delle pipeline di inference contano più de...
Gli ingegneri AMD stanno sviluppando un backend per migliorare il supporto del calcolo GPU virtualizzato con ROCm sotto QEMU. La mossa punta a rendere più stabile l'uso di GPU AMD in macchine virtuali, un tema cruciale per infrastrutture on-premise e...
Il framework per LLM eterogenei KTransformers pubblica la versione 0.7 con supporto AVX-512 esteso, un intervento mirato sui server AMD EPYC. Per chi opera in self-hosted, il messaggio è strutturale: la CPU non è più un ripiego, ma una componente att...
Il ciclo Linux 7.2 per ARM64 si era chiuso senza funzionalità reali, vittima del caos nelle patch AI/LLM. Con Linux 7.3 arrivano nuove feature ARM64, tra cui BBML3 e workaround per NVIDIA Olympus. Un segnale di maturità per l'ecosistema ARM64, che in...
Il kernel 7.2 arriva dopo un ciclo segnato dall'aumento di patch e segnalazioni legate all'ecosistema AI/LLM. I progressi su I/O e driver AMD/Intel contano per chi esegue LLM self-hosted, perché il sistema operativo può diventare l'anello debole tra ...
Un breve post di ringraziamento riporta l'attenzione su Georgi Gerganov, creatore di llama.cpp. Il progetto open source ha trasformato l'approccio all'esecuzione di Large Language Models su hardware comune, abbattendo barriere per deployment self-hos...
AMD aggiorna Lemonade SDK con Muse-Glimmer 30B e modulo sperimentale ROCm per generazione immagini. Più che una novità di benchmark, è un segnale per chi valuta LLM locali: il valore si sposta su ottimizzazione di CPU, GPU e NPU, prevedibilità dei co...
AMD rilascia Lemonade SDK 11.6, che integra il LLM Muse-Glimmer da 30 miliardi di parametri e un modulo sperimentale di generazione immagini basato su ROCm, chiamato TheNoise. L'aggiornamento rafforza lo stack open source per eseguire applicazioni AI...
AMD e Meta hanno portato nel mainline PyTorch le ottimizzazioni FP8 per GPU Instinct: +13,4% su Llama3-8B, recupero dell'89% dell'overhead su DeepSeek-V3 671B e kernel 6,2× più rapidi. L'integrazione elimina la necessità di stack proprietari e rende ...
