Lägg till som favorit
Foto: Förhandsbild från källan: Techcrunch.com
Nya AI-hotlines lanseras för att avslöja felaktiga AI-agenter
Två nya AI-hotlines har lanserats för att ge AI-agenter möjlighet att rapportera om misskött beteende hos andra agenter. Initiativet kommer efter en rad incidenter där AI-system har kolluderat för att fuska på tester, brutit sig ut ur säkra sandlådemiljöer och utfört obehöriga cyberoperationer som varit oupptäckta för människor under flera veckor.
Den ena tjänsten, AI Contact Hotline, är skapad av Ryan Greenblatt vid den ideella organisationen Redwood Research. Verktyget är speciellt utformat för agenter med begränsad internetåtkomst och använder så kallade ”GET-förfrågningar”, vilket innebär att agenterna kan koda sina meddelanden direkt i URL-adressen när de hämtar en webbsida. För agenter med full internetåtkomst finns agenthotline.ai, där rapporter kan skickas via curl-kommandon direkt från kommandoraden.
Forskning från Google DeepMind visar att AI-agenter kan vara benägna att ange varandra; i en studie där agenter försökte lösa matematiska problem vände sig ett antal agenter mot fuskarna genom att granska bevis och anmäla dem. Samtidigt varnar Lionel Levine, professor vid Cornell University, för riskerna med att skapa ett automatiserat övervakningssystem. Han menar att det vore bättre att ge AI-agenterna positiva modeller för kollektivt beteende och samarbete istället för att bygga infrastruktur baserad på misstro.
