Workspace AI locale con Rust, Tauri e SQLite

Uno sviluppatore ha presentato Tandem, un workspace AI open-source progettato per operare interamente in locale. L'applicazione è realizzata con Rust (Tauri v2) per il backend, React + Vite per il frontend e utilizza sqlite-vec per la memorizzazione dei vettori di embedding direttamente nel file SQLite, eliminando la necessità di container Docker separati per Qdrant o Chroma.

Architettura e Funzionalità

Tandem supporta modelli Llama locali tramite Ollama e server compatibili con OpenAI come LM Studio o vLLM. Il sistema rileva automaticamente i modelli disponibili (Llama 3, Mistral, Gemma) permettendo di passare da uno all'altro senza configurazioni complesse. Tra le caratteristiche principali, spiccano il supporto nativo per modelli locali, l'assenza di telemetria e l'implementazione del Model Context Protocol (MCP) per l'integrazione con strumenti locali. È presente anche un sistema di "Packs" per l'installazione di prompt e skill tramite file di configurazione.

Per chi valuta deployment on-premise, esistono trade-off da considerare attentamente. AI-RADAR offre framework analitici su /llm-onpremise per supportare queste valutazioni.