Muse Glimmer 30B di Meta, con licenza Apache 2.0, viene rapidamente integrato da AMD, Intel e dagli stack comunitari per l'inference locale tramite Lemonade, ExecuTorch, GGUF e LLM-Scaler. AMD sta inoltre rafforzando il supporto ROCm per NPU e ottimizzazioni FP8, segnalando uno spostamento verso l'inference on-premise supportata dai vendor.
AMD aggiorna Lemonade SDK con Muse-Glimmer 30B e modulo sperimentale ROCm per generazione immagini. Più che una novità di benchmark, è un segnale per chi valuta LLM locali: il valore si sposta su ottimizzazione di CPU, GPU e NPU, prevedibilità dei co...
AMD rilascia Lemonade SDK 11.6, che integra il LLM Muse-Glimmer da 30 miliardi di parametri e un modulo sperimentale di generazione immagini basato su ROCm, chiamato TheNoise. L'aggiornamento rafforza lo stack open source per eseguire applicazioni AI...
AMD e Meta hanno portato nel mainline PyTorch le ottimizzazioni FP8 per GPU Instinct: +13,4% su Llama3-8B, recupero dell'89% dell'overhead su DeepSeek-V3 671B e kernel 6,2× più rapidi. L'integrazione elimina la necessità di stack proprietari e rende ...
Il progetto LLM-Scaler di Intel aggiunge il supporto immediato per Muse Glimmer, consolidando uno stack Docker-based per GPU Arc B-Series che integra vLLM, SGLang e ComfyUI. Una mossa che rende l’inference on-premise più accessibile e segnala l’impeg...
FastFlowLM 1.0, il software open-source per eseguire modelli linguistici e multimodali sulle NPU dei processori Ryzen AI, entra ufficialmente nell’ecosistema ROCm. La mossa segnala l’intenzione di AMD di offrire uno stack unificato per l’inference lo...
Meta rilascia Muse Glimmer, modello da 30 miliardi di parametri ottimizzato per flussi agentici on-device. ExecuTorch ora supporta l'inference su GPU NVIDIA e Mac Apple silicon, integrando GGUF, k-quant, contesto oltre 128K token e decoding speculati...
L'arrivo di Muse-Glimmer-30B nel formato GGUF non è solo il rilascio di un modello. È il segnale di un'infrastruttura di inference locale che si rafforza, spostando l'attenzione dai mega-modelli cloud alla praticità delle GPU in sede e alle pipeline ...
Meta rilascia Muse Glimmer, LLM da 30 miliardi di parametri con licenza Apache 2.0, ottimizzato per agenti AI su GPU consumer. Con quantization a 4 bit il modello occupa meno di 20 GB, pensato per ambienti locali con accesso a dati personali. I bench...
Meta rilascia Muse Glimmer, un modello da 30 miliardi di parametri con licenza Apache 2.0, ottimizzato per flussi di lavoro agentici sempre attivi su hardware consumer. La quantization a 4 bit e la decodifica speculativa lo rendono eseguibile su GPU ...
