Agenti LLM on-premise: un esperimento con GPT-OSS 20B

Un utente di Reddit ha condiviso la propria esperienza con l'agente Zeroclaw, un framework progettato per consentire a modelli linguistici di grandi dimensioni (LLM) di interagire con l'ambiente circostante. In questo caso, l'utente ha utilizzato un modello GPT-OSS 20B, eseguito interamente in locale, per automatizzare task su un sistema macOS.

L'utente ha evidenziato la capacità dell'agente di interagire con applicazioni macOS, navigare pagine web e manipolare file locali, il tutto mantenendo la sovranità dei dati. La configurazione ha richiesto alcune ore di lavoro per garantire che solo strumenti sicuri fossero accessibili all'agente.

Limiti e sfide

Nonostante il successo iniziale, l'utente ha notato che il modello GPT-OSS 20B presenta dei limiti. In particolare, tende a perdere il focus dopo 15-20 passaggi e richiede istruzioni dirette per utilizzare la memoria persistente. Inoltre, comportamenti anomali si verificano quando l'accesso a uno strumento viene negato o quando uno strumento restituisce un errore.

Per chi valuta deployment on-premise, esistono trade-off tra controllo e risorse computazionali. AI-RADAR offre framework analitici su /llm-onpremise per valutare questi aspetti.