La domanda parte da un utente con una GeForce RTX 5070 Ti X3 da 16GB e 32GB di RAM DDR5. Il suo obiettivo è ambizioso ma coerente con la promessa dell'AI locale: un agente per le attività quotidiane, uno per la ricerca e uno per lo sviluppo. Ha provato Ollama e vLLM, poi i framework Goose, Hermes Agent e OpenCode. Il risultato dichiarato è zero: nessuno strumento si è rivelato utile. Non per mancanza di tentativi, ma per un dubbio che resta aperto: è un problema di competenze, di tooling, di configurazione del modello o di tutto insieme?

La risposta non è nel singolo post, ma la configurazione descritta è un caso da manuale per capire dove si incastra l'AI on-premise oggi. Con 16GB di VRAM, il margine per far convivere modello, contesto, tool calling e orchestrazione è stretto. I modelli più grandi, che gestiscono meglio il ragionamento multi-step richiesto dagli agenti, semplicemente non ci stanno senza una quantization aggressiva. E la quantization, quando si scende troppo, degrada proprio le capacità che servono a un agente: seguire istruzioni, pianificare, usare strumenti esterni. Non è un difetto del singolo harness; è una variabile strutturale.

A questo si aggiunge il layer dell'orchestrazione. Goose, Hermes Agent e OpenCode nascono con filosofie diverse: chi privilegia l'integrazione con tool locali, chi punta sull'automazione conversazionale, chi sul pair programming. Ma nessuno dei tre, stando al racconto, ha trasformato il setup in un assistente affidabile. Il dato interessante non è il fallimento in sé, ma il fatto che l'utente non sappia se il problema è il modello, il framework o la configurazione. È esattamente il punto: il self-hosted non è un prodotto, è un cantiere. Chi arriva dall'esperienza cloud, dove un endpoint API e una chiave bastano per iniziare, si scontra con un ambiente in cui ogni scelta ha un costo in VRAM, contesto e latenza.

Per chi valuta deployment on-premise, esistono trade-off tra controllo e complessità operativa che non si risolvono con un singolo framework. Il caso segnala qualcosa di strutturale: la corsa agli agenti locali sta spingendo l'hardware consumer verso il basso, ma i framework non hanno ancora colmato il divario. Chi vince oggi? I produttori di GPU con più memoria e i team che sviluppano modelli compatti ottimizzati per tool calling. Chi perde? Il singolo sviluppatore o il piccolo team che si illude che basti una scheda di fascia media per replicare l'esperienza di un assistente cloud. La sovranità dei dati e il TCO, che rendono attraente il self-hosted, si pagano con una curva di apprendimento e una resa ancora incerta. La richiesta di suggerimenti, del resto, è ancora aperta.