Together AI ha annunciato Mamba-3, un modello state-space (SSM) focalizzato sull'ottimizzazione dell'inference. La notizia è emersa tramite un post sul blog ufficiale di Together AI e ha generato discussioni sulla piattaforma Reddit.

Modelli State-Space

I modelli state-space rappresentano un'alternativa ai più comuni modelli transformer, specialmente in scenari che richiedono un'elaborazione efficiente di sequenze lunghe. Mamba-3 si propone di migliorare le prestazioni in questo ambito, offrendo potenzialmente vantaggi in termini di velocità e consumo di risorse.

Per chi valuta deployment on-premise, esistono trade-off da considerare quando si sceglie tra architetture transformer e modelli state-space. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.