L'ecosistema dei pesi aperti sta maturando attorno alla quantization GGUF, ai layout per-tensore e alle varianti etichettate dalla comunità. Esperimenti locali di generazione SVG e cache KV approssimata mostrano come le scelte di pacchettizzazione influenzino il comportamento dei modelli self-hosted.
Un post su Reddit racchiude in un nome-file l’intero lessico degli LLM open source: base Qwen, 27 miliardi di parametri, etichette 'Uncensored' e formato GGUF. L’analisi parte da questa stringa per mostrare come la nomenclatura comunitaria premi il r...
Il metodo Voodoo Quant, pensato per quantization aggressiva su modelli GGUF piccoli, è ora MIT. Invece di analisi statiche, usa gradient descent per scegliere il livello di quantization per-tensor. Chi lavora con LLM locali e poca VRAM può replicare ...
Una pull request in llama.cpp introduce il supporto a Maple 20B-A1B, un LLM MoE ternario pensato per l'inference su CPU. La domanda aperta: può ridurre il fabbisogno di VRAM per chi fa self-hosted?
Un test self-hosted con Qwen3.8-Flash-Next-IQ4_XS su llama.cpp produce un SVG complesso da un prompt creativo. L'output convince, ma le anteprime divergono: palme e note musicali spariscono nel browser. Il caso mostra perché la generazione di codice ...
La scheda modello di bartowski/Qwen3.8-27B-GGUF introduce mappe di layout per-tensore per la compressione GGUF. L'intervento rende esplicito, tensore per tensore, lo schema di quantization usato, aiutando chi gestisce deployment self-hosted a stimare...
Un thread su Reddit segnala una demo web che applica a Qwen una tecnica di approssimazione della KV cache simile a quella attribuita a 'V4.1 flash' per accelerare il prefill. Nessun benchmark pubblico, ma il prototipo riapre la discussione su come ri...
