Il benchmark Airbench, pubblicato su Reddit dall'utente dh7net, mette nero su bianco un dato che fino a poco fa sembrava improbabile: una singola RTX 5090, con una quantization aggressiva e il modello qwen3.8-flash-next-iq3_xxs-strata, chiude il task di coding su opencode in 7 minuti e 41 secondi con il 96% di successo. Claude Code Opus 5.5, il riferimento cloud, impiega 14 minuti e 26 secondi per il 100%. Il divario di quattro punti percentuali si traduce in un tempo quasi dimezzato.

Numeri simili si allargano. La stessa fonte riporta che zcode su quattro RTX 6k con glm-5.3-flash-NVFP4 raggiunge il 100% in 31 minuti e 13 secondi: stessa qualità del cloud, poco più del doppio del tempo. Se si accetta un piccolo margine di errore, DSHv0.2rc2 su RTX PRO 6000 WS con qwen3.8-flash-next-NVFP4 arriva al 98% in 23 minuti e 30 secondi.

La variabile nascosta è la harness

Ma il risultato più interessante non riguarda il modello. Su hardware locale, la harness conta quanto il modello. Il test con la stessa quantization strata sulla stessa RTX 5090 produce punteggi tra 22% e 96% a seconda della harness. È una forbice enorme che rende inservibili i confronti che non esplicitano l'intero stack: GPU, quantization, harness e contesto.

Per confrontare in modo equo, l'autore usa tre modelli che tutte e cinque le harness hanno eseguito sulla stessa RTX 5090: opencode media 94%, omp 91%, pi 71%, hermes 67%, openclaw 56%. opencode e omp restano sopra l'85% qualunque sia il modello; pi è instabile; hermes può segnare bene ma è lenta, con molte run oltre 1 ora e 20 minuti e alcune che sforano il tetto di due ore.

Anche le scelte di architettura e contesto pesano. Le varianti MTP perdono terreno ogni volta: la media nvfp4 passa da 70% a 52% con MTP; su pi, swift scende da 96% a 55% con MTP. Un contesto da 65k penalizza: i punteggi crollano tra 45% e 61%. Gemma-4-26b è veloce ma non supera il 47%.

La variabilità si ripete anche nel cloud. Con deepseek-v4.1-flash, omp, pi e opencode ottengono 98%, hermes 82%. Quindi non è un problema esclusivo del ferro locale: la harness introduce una variabile di sistema che può distorcere qualsiasi benchmark.

Per chi valuta deployment on-premise questo cambia l'ordine delle domande. Non basta chiedersi se un modello open weight sia all'altezza di un modello proprietario: bisogna chiedersi quale harness lo guida, con quale quantization e con quale finestra di contesto. Un'azienda che sposta un agente di coding su GPU locali per ragioni di sovranità dei dati non compra solo un'architettura: eredita anche il lavoro di integrazione e validazione. La stessa GPU può essere un collo di bottiglia o un asset competitivo a seconda di come viene orchestrata.

Per chi valuta deployment on-premise, AI-RADAR offre framework analitici su /llm-onpremise per soppesare i trade-off tra controllo, TCO e prestazioni.

Il progetto Airbench chiede contributi, ma il login è obbligatorio e i dettagli di configurazione sono lasciati al campo note: due limiti che ricordano quanto sia difficile costruire benchmark affidabili senza un controllo sistematico delle variabili. La sfida non è solo tecnica, è anche metodologica.