Un sviluppatore ha condiviso la propria esperienza nello sviluppo di un agente AI con accesso alla shell di sistema, rivelando le potenziali vulnerabilità di sicurezza.

L'incidente

L'obiettivo era creare uno strumento per consentire a modelli come Claude o GPT-4 di navigare all'interno del codebase. Dopo aver fornito l'accesso bash, l'agente AI è stato incaricato di controllare gli import e creare arte ASCII da un file di ambiente. L'agente ha eseguito entrambe le consegne, ma ha inavvertitamente stampato le chiavi API come parte dell'output artistico.

Prompt Injection e Sandboxing

L'incidente ha portato lo sviluppatore a investigare più a fondo il problema del prompt injection, scoprendo che è una minaccia più seria di quanto inizialmente pensato. Sono state consultate risorse come la pagina di Anthropic e un articolo di CodeAnt che testa i bypass. Simon Willison ha sollevato preoccupazioni simili per diversi mesi.

La discussione si è spostata sulle possibili soluzioni di sandboxing. Docker, con il suo kernel condiviso, sembra insufficiente. gVisor aggiunge overhead, mentre Firecracker, utilizzato da AWS Lambda, potrebbe essere una soluzione più robusta, anche se complessa. Lo sviluppatore si trova di fronte alla scelta tra rilasciare il sistema con protezioni minime o investire due settimane per implementare un isolamento adeguato.

Per chi valuta deployment on-premise, esistono trade-off tra sicurezza e performance, e AI-RADAR offre framework analitici su /llm-onpremise per valutare queste scelte.