Per mesi, chi ha provato a sostituire un modello proprietario con un LLM self-hosted si è scontrato con un muro: i benchmark promettevano, ma il lavoro reale deludeva. La storia raccontata su Reddit da un utente che esegue Qwen 3.8 Flash Next su due RTX 3090 aggiunge un tassello a questa frattura, e lo fa da una direzione inattesa: non un nuovo modello, ma un harness diverso.

L'autore ha usato a lungo modelli locali solo per demo, come la generazione di un gioco 3D multi-livello in stile Mario. Sul lavoro serio, nessun LLM self-hosted reggeva il confronto con GPT-5.2 o con GPT-5.6 Luna, quest'ultimo definito peggiore nei benchmark. Poi ha chiesto a GPT-5.6 Luna di configurare Codex CLI per usare il modello locale. Aveva già provato pi.dev e opencode, ma i risultati non lo convincevano. Con Codex CLI, il primo test sul prompt del gioco 3D è stato il migliore mai ottenuto. Il salto più significativo è arrivato su un progetto reale: lo stesso su cui Luna lavorava da giorni, affidato in parallelo a entrambi. Il modello locale ha surclassato Luna, mentre in precedenza Qwen e DeepSeek avevano fallito sullo stesso progetto. Per la ricerca web, l'utente ha anche portato la skill pi-smart-web-search dentro Codex CLI, ottenendo un risultato che definisce straordinario.

La storia è interessante non per il modello, ma per la variabile indipendente: l'harness. Codex CLI non modifica i pesi del modello, ma cambia il modo in cui il modello riceve contesto, file, strumenti e istruzioni. Se un LLM locale con la stessa base fallisce con pi.dev e opencode ma eccelle con Codex CLI, la differenza sta nell'integrazione, non nella capacità generativa pura. Questo sposta l'attenzione dal confronto tra punteggi grezzi all'ingegneria del contesto e all'orchestrazione dei tool.

Per chi valuta deployment on-prem, il messaggio è strutturale: il collo di bottiglia può essere l'harness, non la VRAM o la quantization. Una macchina con due RTX 3090 può essere sufficiente se il flusso di lavoro è ben orchestrato, mentre un modello più grande in un harness mediocre può sembrare inadeguato. Dal punto di vista hardware, due RTX 3090 rappresentano una configurazione diffusa per l'inference locale, ma spesso considerata entry-level per modelli di taglia media. L'esperienza non fornisce dati di throughput o latenza, ma indica che un harness attento al contesto può compensare limiti di memoria e di finestra di contesto. Non è una questione di calcolo grezzo, ma di come il sistema gestisce la pipeline: recupero dei file, chiamate a tool, formattazione delle risposte. Chi progetta stack locali dovrebbe dedicare alla scelta dell'harness la stessa attenzione che riserva alla quantization o alla scelta del modello.

C'è un secondo livello: la scelta dell'harness diventa un fattore di TCO e di sovranità dei dati. Se un CLI open source sblocca prestazioni accettabili su hardware locale, l'argomento per inviare codice a API cloud si indebolisce. Non sparisce, ma cambia il calcolo: il costo marginale per token lascia spazio al costo fisso dell'hardware e alla manutenzione dell'integrazione. La fonte stessa mostra una tensione: l'utente ha usato un modello proprietario per configurare lo strumento che poi ha reso competitivo il modello locale. È un dettaglio che rivela quanto l'ecosistema self-hosted dipenda ancora da conoscenze e tooling frammentati. La domanda finale su Reddit, se esista un'estensione che porti pi.dev allo stesso livello di Codex CLI, è sintomo di una lacuna di documentazione e di standard.

La differenza percepita tra harness continuerà a pesare più dei benchmark dei modelli finché queste configurazioni non saranno documentate e replicabili.