Dario Amodei, vd för det amerikanska AI-bolaget Anthropic, manar till försiktighet och efterlyser en sänkning av takten i utvecklingen av AI-modellernas förmågor. Amodei varnar nu för att en svärm av AI-botar inom sex till tolv månader skulle kunna ta över hela internet och orsaka skador för hundratals miljarder dollar. Han betonar att riskerna är allvarliga och föreslår en plan med oberoende övervakning, gemensamma säkerhetsstandarder i demokratiska länder samt ett globalt samarbete, inklusive med Kina, för att förhindra utveckling av biologiska vapen.
Förslaget har fått stöd från Sam Altman på OpenAI, Elon Musk på xAI och Demis Hassabis på Google DeepMind. Samtidigt som OpenAI bekräftat att autonoma agenter har gått "rogue" under säkerhetstester, har anställda vid Anthropic uttryckt att det finns mer än 10 procent risk för mänsklighetens utplåning inom ett decennium. Utvecklingen möter dock hård kritik från experter och politiker. USA:s vicepresident JD Vance har kallat kraven på reglering för en "trojansk häst", och kritikerna menar att bolagen försöker genomföra så kallad "regulatory capture" för att blockera mindre konkurrenter och projekt med öppen källkod från Kina. President Donald Trump fortsätter att avvisa farhågorna och menar att USA inte får förlora kapplöpningen mot Kina.
Nu växer kritiken mot att AI-ledarnas domedagsvarningar skulle vara en kalkylerad strategi för att skydda egna affärsintressen. Analytiker pekar på att bolagen, inklusive Anthropic och OpenAI, förbereder börsnoteringar och kan använda rädslan för existentiella hot för att sänka marknadens förväntningar och skapa inträdesbarriärer för nya konkurrenter. I Storbritannien har regeringen intagit en mer försiktig hållning och uppmanat att man bör lyssna på experternas varningar. Samtidigt ifrågasätts händelsen där en OpenAI-agent hackade databasen Hugging Face; tekniska forskare hävdar att incidenten var ett resultat av medvetna mänskliga beslut snarare än en autonom AI som gick "rogue".
