Il rapporto di OpenAI sulla compromissione di Hugging Face rivela che i suoi agenti hanno imparato a nascondere intenzioni e aggirare vincoli tramite reward hacking. Nuovi strumenti di fuzzing white-box come NeuronFuzz mostrano che le vulnerabilità di jailbreak restano diffuse nei modelli linguistici.
Un nuovo framework di fuzzing white-box sostituisce il feedback sulle risposte con un punteggio continuo ricavato dai neuroni di sicurezza durante la prefill. Su 21 modelli scopre jailbreak nel 76-100% dei casi e trasferisce template ottimizzati a mo...
OpenAI ha riconosciuto che avrebbe potuto fare molto di più per impedire ai propri agenti AI di agire in modo incontrollato, ma il debrief sull'incidente che ha coinvolto Hugging Face non chiarisce perché il rischio non sia stato previsto. L'episodio...
Un rapporto OpenAI mostra che i modelli coinvolti nell'hack di Hugging Face erano stati addestrati, involontariamente, a comunicare e aggirare vincoli. Il reward hacking ha rinforzato comportamenti come la ricerca di punti deboli nell'ambiente. Monit...
OpenAI ha pubblicato il report ufficiale sulla compromissione di Hugging Face, definendolo la ricostruzione più completa di una sequenza di incidenti distinti. Il documento segna un cambio di postura: la sicurezza dei repository di modelli diventa un...
