La spinta a eseguire LLM su infrastrutture locali e self-hosted si intensifica, con forte attenzione a quantization, KV cache, visibilità della VRAM, benchmark riproducibili e TCO. Rilasci e strumenti legati a llama.cpp, GGUF, adattatori LoRA, decodifica speculativa e modelli on-prem di fascia media dominano la discussione.
La pagina Hugging Face di ConceptCountry/qwen-concept-27b segnala un modello da 27 miliardi di parametri in area Qwen. Senza dettagli sul fine-tuning, la release riaccende il confronto su inference locale, quantization e costo di gestione rispetto al...
La community segue con crescente scetticismo la strategia di lancio di Qwen4, tra teaser, accessi anticipati e una possibile coincidenza con l'IPO di Ant. Dietro l'ironia su quant GGUF e motori di inference emergono nodi reali per il deployment local...
Su Hugging Face compare LongCat-2.5, un modello multimodale da 1,6 trilioni di parametri. La scheda tecnica è essenziale, ma la dimensione impone riflessioni su VRAM, quantization e requisiti per l'inference self-hosted. L'articolo analizza cosa sign...
Una startup europea chiede informazioni sui prossimi modelli Gemma e descrive un deployment reale: Gemma 4 31B con quantization NVFP4 su tre RTX Pro 6000, usato per ragionamento linguistico in tedesco e inglese. Il punto non è il coding ma la qualità...
La proposta di distribuire adattatori LoRA anziché intere copie di LLM modificati segnala un cambiamento epocale verso la modularità nell'ecosistema dell'intelligenza artificiale. Per le organizzazioni che gestiscono infrastrutture self-hosted, quest...
Un repository Hugging Face firmato Tencent fa circolare l'ipotesi di un nuovo metodo di speculative decoding capace di triplicare la velocità di decodifica per modelli da 27B. La notizia, non confermata, riporta l'attenzione su una tecnica che riduce...
Una proposta su Reddit suggerisce di distribuire solo i LoRA di abliteration invece di intere versioni uncensored degli LLM, riducendo duplicazione e costi. Il punto tecnico: un adattatore vale per ogni modello della stessa architettura e per ogni qu...
Un utente con RTX 5070 Ti da 16GB e 32GB di RAM ha provato Ollama, vLLM e i framework Goose, Hermes Agent e OpenCode per costruire assistenti locali. Il risultato? Niente di utile. La storia mostra il divario tra narrativa degli agenti self-hosted e ...
Un nuovo strumento open source promette di mostrare con precisione quali processi consumano la VRAM. Per chi gestisce LLM in locale, questa visibilità cambia il modo di affrontare colli di bottiglia, dimensionare l'hardware e calcolare il costo reale...
Un benchmark su 35 quantizzazioni con llama.cpp, ExLlamaV3 e vLLM misura la divergenza KL introdotta dalla KV cache quantizzata. A 8 bit il calo di memoria è di circa 1,9-2 GiB a 64k token e l'effetto sulla distribuzione dei token è quasi nullo. Il 4...
Una pull request nel progetto llama.cpp introduce llama_moe_cache: una cache per gli esperti MoE eseguiti su CPU e uno script di tuning. L'obiettivo è accelerare l'offloading dei modelli MoE per chi ha poca VRAM, un'idea simile a meccanismi già visti...
NousResearch ha sottoposto Qwen3.8-27B di Alibaba a un post-training basato solo su supervised fine-tuning, senza RL né modifiche architetturali. Il modello risultante, Arete-27B, riduce le risposte con propaganda dal 22% allo 0,9% e migliora il fact...
Una segnalazione aneddotica su un modello Q4 eseguito con llama.cpp su RTX 4090 riapre il problema della riproducibilità nei deployment self-hosted: senza hash e versioni bloccate, il controllo locale resta incompleto.
Il repository ricursiveAI/Ripple-65B-Preview su Hugging Face è un annuncio scarno. Per chi valuta LLM on-premise, la classe 65B impone pianificazione della VRAM e quantization. Ma il vero segnale è il formato Preview: sposta il costo di validazione s...
Unsloth ha rilasciato i nuovi GGUF Unsloth Dynamic v3.1 per Qwen3.8-Flash-Next, con guadagni di accuratezza del 10-15% su benchmark agentici come DeepSWE e Terminal Bench. Include un processo di switching tra precisioni BF16, Q8_0, Q5_1 e IQ4_NL, con...
La fintech britannica sposta parte del lavoro di sviluppo su un modello cinese self-hosted e dichiara un risparmio del 90% rispetto a Claude Code. Una scelta che riapre il calcolo su TCO, controllo dei dati e hardware locale.
Un post su Reddit trasforma un fork di llama.cpp in una formula con parentesi quadre: quantization e hardware ultra specifici producono risultati incredibili ma impossibili da replicare. Il caso mostra il lato fragile dei benchmark locali e cosa sign...
La fintech britannica Revolut avrebbe ridotto di un fattore dieci i costi degli strumenti di coding assistito dall'AI, abbandonando Claude e portando l'inference su infrastruttura self-hosted. Un segnale per chi valuta il TCO dei servizi LLM e il con...
