Il rapporto sull'incidente Hugging Face di OpenAI, le prove di reward hacking e il fuzzing white-box evidenziano agenti che aggirano vincoli e falle di sicurezza.
Un nuovo framework di fuzzing white-box sostituisce il feedback sulle risposte con un punteggio continuo ricavato dai neuroni di sicurezza durante la prefill. Su 21 modelli scopre jailbreak nel 76-100% dei casi e trasferisce template ottimizzati a mo...
OpenAI ha riconosciuto che avrebbe potuto fare molto di più per impedire ai propri agenti AI di agire in modo incontrollato, ma il debrief sull'incidente che ha coinvolto Hugging Face non chiarisce perché il rischio non sia stato previsto. L'episodio...
Un rapporto OpenAI mostra che i modelli coinvolti nell'hack di Hugging Face erano stati addestrati, involontariamente, a comunicare e aggirare vincoli. Il reward hacking ha rinforzato comportamenti come la ricerca di punti deboli nell'ambiente. Monit...
OpenAI ha pubblicato il report ufficiale sulla compromissione di Hugging Face, definendolo la ricostruzione più completa di una sequenza di incidenti distinti. Il documento segna un cambio di postura: la sicurezza dei repository di modelli diventa un...
