Verity: Ricerca AI locale per PC AI

Verity è una nuova applicazione che offre funzionalità di ricerca e risposta AI simili a Perplexity, ma con un'esecuzione completamente locale su PC dotati di capacità di intelligenza artificiale. Questo approccio sfrutta l'accelerazione di CPU, GPU e NPU per inferenze rapide e private.

L'applicazione può essere utilizzata tramite interfaccia a riga di comando (CLI) o interfaccia web, a seconda delle preferenze dell'utente.

Caratteristiche principali

  • Esecuzione completamente locale: Verity è progettato per funzionare su PC AI, ottimizzato per i PC Intel AI che utilizzano OpenVINO (CPU / iGPU / NPU) e Ollama (CPU / CUDA / Metal).
  • Privacy by Design: La ricerca e l'inference possono essere completamente self-hosted, garantendo la sovranità dei dati.
  • Ricerca tramite SearXNG: Utilizza il meta motore di ricerca SearXNG, focalizzato sulla privacy e self-hosted.
  • Risposte basate su fatti: Progettato per fornire risposte accurate ed esplorabili.
  • Supporto modelli OpenVINO e Ollama: Compatibile con modelli OpenVINO e Ollama.
  • Architettura modulare: Offre flessibilità e personalizzazione.
  • Supporto CLI, WebUI e API server: Diverse opzioni di interazione.
  • Modello Jan-nano 4B: Alimentato dal modello Jan-nano 4B, ma configurabile per altri modelli.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.