Un'ondata di LLM open-weight, da Muse Glimmer di Meta e Qwen 3.8 alle varianti quantizzate di Kimi K3, Ling e Nemotron, sta rendendo praticabile l'IA self-hosted. Formati comunitari come GGUF e MLX e runtime on-device sono al centro di questo cambiamento.
La community ha raccolto in un megathread i link ufficiali e le varianti quantizzate del nuovo Qwen 3.8 27B. GGUF, MLX e FP8 già disponibili: un segnale sulla maturità del self-hosted.
La comparsa del repository deepseek-ai/DeepSeek-V4-Pro-0813 su Hugging Face riporta l'attenzione sulla distribuzione dei LLM. Senza schede tecniche, però, un identificativo non orienta le decisioni on-premise: servono VRAM, quantization, pipeline di ...
La pagina di Hugging Face mostra un conto alla rovescia per Qwen/Qwen3.8-27B, suggerendo una fase di pre-rilascio. Il gesto segnala una strategia di distribuzione comunitaria e offre ai team on-premise una finestra per valutare vincoli di VRAM, quant...
Il nuovo modello Nemotron-3.5 Lightning 30B-A3B in formato BF16 arriva su Hugging Face. Una mossa che sposta il baricentro verso architetture MoE ultra-efficienti, pensate per chi fa girare LLM su hardware proprio, riducendo la dipendenza dal cloud s...
InclusionAI rilascia Ling-3.0-tiny, un MoE da 8 miliardi di parametri (soli 1,3 attivi) che raggiunge 100-105 token/s su DGX Spark e 86-90 su MacBook M4 Pro, con 8,34 GiB di picco a contesto 8K in FP8. Prestazioni da fascia media, ma l’efficienza har...
Meta rilascia Muse Glimmer, modello da 30 miliardi di parametri ottimizzato per flussi agentici on-device. ExecuTorch ora supporta l'inference su GPU NVIDIA e Mac Apple silicon, integrando GGUF, k-quant, contesto oltre 128K token e decoding speculati...
L'arrivo di Muse-Glimmer-30B nel formato GGUF non è solo il rilascio di un modello. È il segnale di un'infrastruttura di inference locale che si rafforza, spostando l'attenzione dai mega-modelli cloud alla praticità delle GPU in sede e alle pipeline ...
Meta rilascia Muse Glimmer, LLM da 30 miliardi di parametri con licenza Apache 2.0, ottimizzato per agenti AI su GPU consumer. Con quantization a 4 bit il modello occupa meno di 20 GB, pensato per ambienti locali con accesso a dati personali. I bench...
Meta rilascia Muse Glimmer, un modello da 30 miliardi di parametri con licenza Apache 2.0, ottimizzato per flussi di lavoro agentici sempre attivi su hardware consumer. La quantization a 4 bit e la decodifica speculativa lo rendono eseguibile su GPU ...
L'INT4 ufficiale di Ling-3.0-flash gira su una DGX Spark, ma con configurazione predefinita eroga 20.8 tok/s. Due interventi — disabilitare `--enforce-eager` per abilitare i cudagraph e attivare la decodifica speculativa MTP con un token — fanno balz...
Un utente Hugging Face ha pubblicato una versione quantizzata di Kimi K3 che elimina il multilingua e applica IQ2-XXS via Unsloth, riducendo lo spazio da 711 a 478 GB. Dietro il dato tecnico si nasconde una lezione chiara per chi valuta deployment lo...
Un utente esegue Kimi K3 su due cluster con llama.cpp e RPC, ricorrendo a offloading parziale e quantization IQ1_M. L’obiettivo? Accelerare del 2-3x unificando le GPU in un solo sistema e passare a Q2_K_XL, sperando che modelli come Qwen3.8 rendano s...
Un utente spinge al limite una Radeon AI Pro R9700 da 32 GB con i modelli Qwen3.6 ridotti a INT4. Il 35B MoE tocca 262mila token di contesto e 52 tok/s a 100k, mentre il 27B sfrutta il speculative decoding per mantenere 59 tok/s oltre i 50k di contes...
