Sono state rilasciate le versioni di Kimi-Linear-48B-A3B e Step3.5-Flash compatibili con llama.cpp.

Dettagli

  • Step3.5-Flash: disponibile alla release b7964.
  • Kimi-Linear-48B-A3B: disponibile alla release b7957.

Al momento, non risultano ancora disponibili i file GGUF ufficiali per questi modelli su Hugging Face. Tuttavia, la community è al lavoro per renderli disponibili.

Ubergarm ha già rilasciato una versione GGUF per Step-3.5-Flash, disponibile su Hugging Face.

La disponibilità di questi modelli in formati compatibili con llama.cpp facilita l'inference su hardware locale, aprendo nuove possibilità per chi desidera eseguire modelli di linguaggio di grandi dimensioni (LLM) on-premise. Per chi valuta deployment on-premise, esistono trade-off che AI-RADAR analizza in dettaglio nella sezione /llm-onpremise.