L'ecosistema dell'inference self-hosted si sta ampliando intorno ai limiti reali di VRAM, ai formati quantizzati, ai runtime specializzati e all'hardware Apple/PC/CPU. Parallelamente, i driver GPU Linux e i layer di compatibilità per AMD, Qualcomm e CUDA stanno evolvendo per rendere più pratici gli LLM on-premise.
Una segnalazione su Oh My Pi indica supporto per modelli custom con vLLM, llama.cpp e SGLang. La fonte è scarna, ma il titolo basta per inquadrare un nodo: il serving self-hosted resta frammentato tra runtime con profili hardware diversi, e l'integra...
Un utente ha testato un Mac Studio con M5 Ultra, 256 GB di RAM e GPU a 80 core per inference agentica con GLM-5.3-Flash. I risultati lo soddisfano, ma segnala che la GPU sembra sottodimensionata rispetto alla memoria, sollevando dubbi sull'utilità di...
Un contributo open source aggiunge il supporto a OpenVINO nel progetto Laya: il tempo di risposta scende a 40 millisecondi per domanda su CPU, con un guadagno di 3,4 volte rispetto a PyTorch. Il risultato mostra quanto l’ottimizzazione runtime possa ...
Qualcomm ha diffuso patch open source per il driver GPU Adreno 850 nel SoC Mahua, destinato ai modelli inferiori della famiglia Snapdragon X2. La tempistica, un giorno dopo l'annuncio del supporto Linux per X2, indica che il codice aperto diventa par...
Una RTX 5070 da 12 GB esegue Qwen3.8-Flash-Next a 65,1 token/s con un motore di inference dedicato. Il progetto Strata mostra come un runtime specializzato possa battere llama.cpp sulla stessa precisione numerica, portando l'elaborazione del prompt a...
Un utente documenta l'uso locale di Qwen-3.8-27B su Raspberry Pi con quantization Q4_K_S e contesto Q8_0. Costi di 2,4 centesimi per 1M token in input e 70 centesimi per 1M in output, paragonabili ai provider più economici. L'esperienza evidenzia pot...
Il Mac M5 Ultra con 256 GB è sul mercato ma mancano benchmark seri: solo influencer che testano modelli da 8b. Questo vuoto informativo penalizza chi valuta l'hardware Apple per LLM self-hosted, favorendo di fatto l'ecosistema Nvidia. Senza dati ripe...
L'avvio del supporto GDDR7 nei driver Linux di AMD segnala un cambiamento per chi gestisce infrastrutture AI on-premise. La notizia, apparentemente tecnica, anticipa l'importanza della banda di memoria per l'inference LLM e riduce l'attrito di integr...
Il server AI locale open source Lemonade pubblica la 2026.39.1 e una release candidate della 2026.40. Oltre al nuovo schema di versioning, corregge lo streaming dei modelli su APU AMD e rimuove il supporto OpenMOSS su ROCm, circa 40 volte più lento d...
Qualcomm ha annunciato lo Snapdragon 8 Elite Extreme Gen 6 e, il giorno dopo, ha pubblicato le prime patch per il kernel Linux dedicate alla GPU Adreno 850 con il driver MSM. La tempistica segnala un'attenzione crescente all'abilitazione open source ...
AMD ha iniziato ad aggiungere il supporto a GDDR7 nei driver GPU per Linux. Il lavoro di bring-up anticipa l'arrivo delle schede e tocca direttamente la banda di memoria, una variabile chiave per l'inference LLM su hardware locale. Per chi gestisce i...
Hugging Face ha aggiunto il supporto nativo ai file GGUF in Transformers. Basta indicare il percorso del file quantizzato per caricare il modello e usare le API standard. Su Apple Silicon vengono riutilizzati i kernel ggml, con benchmark su M2 Max vi...
Lo stallo dei futures sulle GPU di CME Group, dopo le perplessità della CFTC, complica la pianificazione del TCO per chi costruisce infrastrutture on-premise e self-hosted per LLM.
Un utente self-hosted racconta di aver chiesto al suo LLM locale di modificare vLLM per ridurre i consumi in idle con CUDA_DISABLE_PERF_BOOST=1. La scena mostra potenzialità e rischi dell'automazione operativa: risparmio energetico reale, ma anche ne...
Il progetto vLLM introduce livelli hardware-agnostic in-tree per continuare a supportare acceleratori out-of-tree, GPU datacenter più vecchie e schede consumer. Su NVIDIA H100 il throughput totale resta entro il 3,4% dell'implementazione nativa. La m...
Il progetto open source ZLUDA ha aggiunto il supporto ad alcune API cuFFT di NVIDIA appoggiandosi a hipFFT, il componente dello stack ROCm/HIP di AMD. La novità amplia il perimetro di compatibilità CUDA su GPU non NVIDIA come le Radeon e segnala un c...
La maggior parte di chi usa LLM in locale non dispone di configurazioni multi-GPU: 16 GB di VRAM, e spesso 12, sono il tetto reale. Gli ultimi sei mesi hanno reso il coding agentico praticabile anche su questa fascia, per esempio con quantizzazioni d...
Parte da una tesi: i pattern d'uso dell'AI stanno cambiando il calcolo tra cloud e infrastruttura propria. Non un semplice ritorno all'on-premise, ma un riposizionamento legato a carichi prevedibili, controllo dei dati e TCO. L'analisi di AI-RADAR su...
halogen 0.12.0 risolve il degrado a contesto profondo: su Ryzen AI Max+ 395 con 128 GB, la decodifica di Qwen3.8-Flash-Next a un milione di token sale da 27,3 a 38,3 tok/s, il prefill scende da 21,2 a 17,9 minuti. Un dato utile per chi valuta LLM sel...
