ByteShape ha annunciato il rilascio di due nuovi modelli di linguaggio (LLM) focalizzati sulla generazione di codice: Devstral-Small-2-24B-Instruct-2512 e Qwen3-Coder-30B-A3B-Instruct.

Dettagli dei Modelli

  • Devstral-Small-2-24B-Instruct-2512: Ottimizzato per GPU, in particolare le serie RTX 40 e 50. Richiede maggiori risorse computazionali ma offre prestazioni superiori quando il contesto rientra nella finestra supportata.
  • Qwen3-Coder-30B-A3B-Instruct: Progettato per essere eseguito su un'ampia gamma di hardware, inclusi dispositivi con risorse limitate come il Raspberry Pi 5 (con 16GB di RAM), dove raggiunge circa 9 token al secondo (TPS) con una qualità BF16 del 90%.

La scelta tra i due modelli dipende dalle esigenze specifiche. Devstral è più performante ma richiede hardware più potente, mentre Qwen3-Coder è più versatile e può essere utilizzato anche su dispositivi meno performanti. ByteShape fornisce GGUF quantizations per entrambi i modelli, ottimizzando le prestazioni su diversi hardware.

Per chi valuta deployment on-premise, esistono trade-off tra performance e requisiti hardware. AI-RADAR offre framework analitici su /llm-onpremise per valutare queste alternative.