Benchmark e valutazioni di sicurezza sono sotto esame: punteggi saturi, trasferibilità linguistica limitata e limiti degli evaluator spingono verso nuovi test e controlli di terze parti. Anche governance, incidenti di sicurezza e comunicazione pubblica entrano nel dibattito.
Clem Delangue, cofondatore e CEO di Hugging Face, presente nel documentario Netflix 'AI Gone Rogue', dice che il film è andato in 'full doomer mode' e non è accurato. La presa di posizione non riguarda solo il fact-checking: segnala una tensione tra ...
Anthropic sta concedendo a METR un accesso simile a quello dei dipendenti per valutare la sicurezza dei propri sistemi e ha avviato discussioni con altre organizzazioni, tra cui Hugging Face. Non è solo trasparenza: l'audit esterno entra nei processi...
Nscale diventa membro Platinum della PyTorch Foundation e ottiene un posto nel consiglio direttivo. La mossa arriva dopo l’annunciata acquisizione di Anyscale, creatrice di Ray, il framework per il calcolo distribuito. L’azienda integra data center, ...
OpenCode, agente di coding open source alternativo a Claude Code e Cursor, ha subito un'intrusione nella piattaforma online: rubate chiavi API di alcuni utenti e usate per gonfiare i costi degli account AI. I tool AI interpellati per analizzare il co...
Irene Solaiman, chief policy officer di Hugging Face, ha messo in guardia: i metodi di benchmark dei modelli sono complessi e ancora in evoluzione. Gli evaluator integrati non sono una scorciatoia. Per chi sceglie un LLM, la valutazione è una questio...
Una ricerca su Qwen2.5-1.5B mostra che un fatto appreso in precedenza viene riacquisito più rapidamente dopo un oblio parziale, anche quando l'accuratezza immediata non lo rileva. Il vantaggio è specifico del legame fattuale, non della semplice famil...
Al Summit Europe l'attenzione va a GPU e AI, ma la parte più concreta viene dai piani di conformità CRA, metriche OSPO e obiettivi di migrazione come il 70% open source di Berlino entro il 2032. La burocrazia diventa infrastruttura.
Quando più modelli raggiungono punteggi quasi perfetti, i benchmark perdono capacità di distinguerli. Uno studio mostra che le trascrizioni complete dei task, anche da benchmark saturi, conservano informazioni predittive. Il pairwise judging riduce l...
Un benchmark zero-shot su otto LLM mostra che la qualità della summarization non si trasferisce dall'inglese al bengalese. GPT-5.6 Luna domina alcune metriche lessicali inglesi, ma LLaMA 3.3 70B ottiene i migliori ROUGE e BLEU bengalesi; Gemini 2.5 F...
Un nuovo test usa Levin's Kt e i modelli linguistici come macchine di rappresentazione per generare item di difficoltà misurabile in bit, prima che umani o modelli di frontiera riescano a risolverli. Dodici LLM sono stati valutati su una prima batter...
