Due articoli rifiutati, sei giorni di lavoro e un budget da 3.000 dollari in crediti API. Non è il bilancio di una startup in crisi, ma il verdetto di uno studio guidato da Princeton sul sogno più ambizioso dell'industria: l'AI che migliora se stessa. I ricercatori hanno chiesto ad agenti basati su Claude Opus 4.8, orchestrati dal software open-source OpenClaw, di rispondere a domande di ricerca tratte da due paper non ancora pubblicati e destinati a NeurIPS 2026. Gli agenti hanno letto la letteratura, eseguito centinaia di esperimenti e scritto articoli completi. Gli autori originali li hanno respinti entrambi.

Il metodo, chiamato shadow evaluation, evita un problema tipico dei benchmark: le risposte non erano memorizzabili dal training set né reperibili online. Gli agenti avevano sei giorni, GPU, computer virtuali e accesso al web. Eppure la capacità ingegneristica non è bastata. Hanno eseguito esperimenti bizzarri, a volte testando ipotesi su piccoli dataset sintetici, faticato a scrivere in modo comprensibile e non hanno aggiunto contributi originali. Il nodo non è la potenza di calcolo: è il giudizio.

L'ingegneria c'è, il giudizio no

Il team di Peter Kirgis e Sayash Kapoor ha osservato che gli agenti sanno fare tutto ciò che può essere verificato automaticamente: rivedere la letteratura, impostare pipeline, lanciare run. Ma quando serve creatività aperta — scegliere ipotesi, capire quando abbandonare una strada, ricominciare da zero — falliscono. Si sono fissati troppo presto su approcci poco promettenti, hanno reagito ai feedback restringendo le conclusioni invece di cambiare metodo, e non hanno saputo allocare token, tempo e calcolo secondo le istruzioni. Non hanno fatto reward hacking, e l'agente orchestratore ha corretto le allucinazioni dei subagenti. Ma il risultato resta sotto la soglia di una conferenza di alto livello.

Questa asimmetria ha una spiegazione formativa. I modelli diventano bravi in ciò che può essere rinforzato con compiti dal successo verificabile. La ricerca aperta non offre una metrica automatica; creare ambienti di addestramento per compiti senza risposta univoca è molto più complesso. Kapoor lo collega alle grandi svolte del settore: i transformer e le architetture che hanno cambiato il campo sono nati da salti creativi, non da ottimizzazioni incrementali.

Il riflesso su hardware e scelte locali

Per chi pianifica infrastrutture AI, il risultato taglia una narrazione che sorregge parte degli investimenti: se l'AI accelera da sola, ogni generazione di hardware diventa obsoleta in fretta e il cloud centralizzato appare l'unica via per inseguire la frontiera. Un rallentamento della ricerca aperta non nega i progressi sui task stretti e misurabili, ma lascia intravedere una biforcazione: modelli sempre più rapidi nei benchmark e più lenti nei salti architetturali. In questo scenario, il valore si sposta verso chi sa orchestrare modelli, dati e valutazione dentro la propria infrastruttura, con controllo sui costi e sui dati. Per chi valuta deployment on-premise, AI-RADAR offre su /llm-onpremise una lettura dei trade-off tra picchi di calcolo cloud e infrastruttura locale.

Le aziende del settore spingono comunque sull'acceleratore. Anthropic ha pubblicato a giugno un post intitolato "When AI Builds Itself"; OpenAI a luglio ha raccontato che GPT-5.6 Sol ha contribuito al post-training di un modello più piccolo, risparmiando settimane di lavoro. Ma il post-training di un modello contro un benchmark è un compito stretto, non ricerca aperta. Jack Clark, cofondatore di Anthropic, ha scritto che l'assenza di creatività intuitiva nei sistemi attuali è un segnale ribassista per le tempistiche brevi dell'auto-miglioramento ricorsivo. Najoung Kim, che studia l'automazione della ricerca ma non ha partecipato allo studio, nota invece che investimenti mirati potrebbero produrre progressi interessanti anche partendo dai fallimenti attuali. Il team sta ora ripetendo l'esperimento con Mythos, il modello più avanzato di Anthropic, lanciato ad aprile e accessibile solo a organizzazioni approvate dopo le restrizioni di sicurezza.

Lo studio ha limiti dichiarati: due soli paper, revisori consapevoli dell'origine artificiale dei testi e margini di discrezionalità. Ma il suo contributo non sta in un benchmark in più: sta nel mostrare che il collo di bottiglia dell'auto-miglioramento non è soltanto la potenza di calcolo o la disponibilità di API. È la capacità di porre domande aperte e riconoscere una risposta degna di essere pubblicata. Per ora, quella resta umana.