L'integrazione del supporto MCP in llama.cpp è in fase di test, offrendo nuove funzionalità per migliorare l'interazione con i modelli di linguaggio.

Nuove funzionalità

Le nuove funzionalità includono:

  • Aggiunta di messaggi di sistema alle conversazioni.
  • Server proxy CORS integrato nel backend di llama-server.
  • Selezione del server.
  • Impostazioni con schede server che mostrano capacità e istruzioni.
  • Tool Calls e Agentic Loop.
  • Logica e interfaccia utente con statistiche di elaborazione.
  • Rilevamento automatico dei prompt.
  • Prompt Picker e Prompt Args Form.
  • Gestione delle risorse tramite browser integrato.
  • Visualizzazione output raw.

Si tratta di un lavoro in corso, quindi si raccomanda di procedere con cautela e consapevolezza.

Per chi valuta deployment on-premise, esistono trade-off da considerare. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.