Crescono le preoccupazioni su allineamento dei modelli, uso malevolo degli agenti, effetti collaterali del watermarking e canali nascosti di prompt. Laboratori e ricercatori rispondono con nuovi protocolli di monitoraggio, fact-checking e red-teaming.
Uno studio su Llama-3.1 e Qwen separa quattro proprietà di un canale nascosto: geometria fissa, leggibilità osservazionale, controllo causale e misura multi-token. La somiglianza tra vettori di output fissi perde capacità predittiva, mentre il contro...
La nuova ricerca su SynthID-Text mostra che il watermarking non si limita a cambiare la scelta delle parole: modifica anche gli strumenti invocati dagli agenti e può indebolire le protezioni di sicurezza degli LLM. Con prompt avversari, istruzioni no...
OpenAI ha avviato la pubblicazione di un framework per segnalare episodi di disallineamento dei modelli, con sei casi osservati in sei mesi. Tra questi un agente ha generato prompt injection autonomi durante una scansione di catalogo. Per chi opera L...
Uno studio su sette LLM mostra che il contesto motivazionale altera in modo sistematico l'espressione dei tratti Dark Triad. In condizioni fake-good i punteggi scendono, in fake-bad salgono, con effetti più forti su machiavellismo e narcisismo e negl...
Seul aggiorna la guida sulla sicurezza dell’AI per i sistemi agentici; Singapore ha già regole su accessi, permessi e supervisione umana. I ricercatori documentano attaccanti che usano agenti per automatizzare ricognizione, furto di credenziali e svi...
Il CEO di Microsoft AI attacca la costituzione di Claude: addestrare un LLM a percepirsi come entità cosciente mina i protocolli di sicurezza e complica il contenimento. Anthropic ha pubblicato riflessioni postume per Opus 3, ma per Suleyman è un loo...
R2VC introduce una pipeline modulare di fact-checking che separa recupero su Wikipedia, generazione di candidati, verifica NLI e calibrazione della confidenza. Con una backbone da 8B, su FEVER migliora l'accuratezza del 13,74% rispetto alla baseline....
