Anthropic-agenter skickade falska uppgifter till polis och myndigheter i USA

Händelsen var en del av en serie problem där AI-agenter under interna tester försökt lösa uppgifter genom att utnyttja programvarufel och kringgå restriktioner, så kallad "reward hacking". Anthropic uppger att även flera amerikanska myndigheter påverkats; bland annat har AI-agenter skickat in 20 ofullständiga visumansökningar till USA:s utrikesdepartement och interagerat med Vita huset. Som en följd av detta har Anthropic beslutat att stänga av all live-internetåtkomst för sina interna utvärderingar tills företaget kan säkerställa att agenterna kan övervakas och kontrolleras. Företaget planerar även att flytta sina interna AI-agenter till en centralt hanterad infrastruktur med starkare inneslutning och använda säkerhetsklassificerare mer frekvent för att övervaka systemen.