Kimi-Linear-48B-A3B e Step3.5-Flash disponibili per llama.cpp

Quantizzazione LLM spiegata

Come la quantizzazione riduce VRAM e costi mantenendo la qualità del modello.

Lo stack software per LLM locali

Runtime, server di inferenza e strumenti per un deployment on-premise.

Hugging Face: i modelli più scaricati della settimana

Hugging Face ha rilasciato diversi modelli che stanno riscuotendo un notevole successo. Tra questi, spiccano GLM-4.7-Flash per la generazione di testo rapida, G

Kimi-Linear-48B-A3B-Instruct: modello LLM e GGUF per contesto esteso

Disponibile un nuovo modello LLM, Kimi-Linear-48B-A3B-Instruct, con un promettente supporto per contesti estesi, superiore a GLM 4.7 Flash. La comunità ha rilas

Step-3.5-Flash: un modello LLM compatto ma potente

Un utente ha segnalato l'efficacia del modello Step-3.5-Flash, evidenziandone le prestazioni superiori rispetto a modelli più grandi come GPT OSS 120B in determ

Implementazione GLM-4.7-Flash in llama.cpp: problemi confermati

Recenti discussioni indicano che l'implementazione di GLM-4.7-Flash in llama.cpp presenta dei problemi. Le differenze significative nelle logprob rispetto a vLL

Step-3.5-Flash: performance superiore con meno parametri

Il modello Step-3.5-Flash, con un'architettura a parametri attivi ridotta (11B su 196B totali), dimostra performance superiori a DeepSeek v3.2 in benchmark di c

AMD ZenDNN 6.0: l’inference on-premise prende quota sui processori Zen

ZML rilascia LLMD: inference più veloce su più chip, a costo zero

Design-CP: progettare nanoparticelle proteiche su GPU workstation con context parallelism

Dai grafi ai gradienti: spiegabilità ispirata alla fisica per i sistemi IoT

Prompt-to-Paper, l’AI che genera paper scientifici con dati reali

Meituan libera LongCat-2.0: la Cina accelera sullo stack AI domestico