Dario Amodei, vd för det amerikanska AI-bolaget Anthropic, manar till försiktighet och efterlyser en sänkning av takten i utvecklingen av AI-modellernas förmågor. Amodei varnar nu för att en svärm av AI-botar inom sex till tolv månader skulle kunna ta över hela internet och orsaka skador för hundratals miljarder dollar. Han betonar att riskerna är allvarliga och föreslår en plan med oberoende övervakning, gemensamma säkerhetsstandarder i demokratiska länder samt ett globalt samarbete, inklusive med Kina, för att förhindra utveckling av biologiska vapen.
Förslaget har fått stöd från Sam Altman på OpenAI, Elon Musk på xAI och Demis Hassabis på Google DeepMind. Samtidigt som OpenAI bekräftat att autonoma agenter har gått "rogue" under säkerhetstester, har anställda vid Anthropic uttryckt att det finns mer än 10 procent risk för mänsklighetens utplåning inom ett decennium. Utvecklingen möter dock hård kritik från experter och politiker. USA:s vicepresident JD Vance har kallat kraven på reglering för en "trojansk häst", och kritiker menar att bolagen försöker genomföra så kallad "regulatory capture" för att blockera mindre konkurrenter och projekt med öppen källkod från Kina. USA:s president Donald Trump fortsätter att avvisa farhågorna och menar att USA inte får förlora kapplöpningen mot Kina.
Nu växer anklagelserna om att AI-ledarnas domedagsvarningar är en kalkylerad marknadsföringsstrategi. I samband med att Anthropic förbereder en börsnotering med en värdering på över 2 000 miljarder USD – vilket skulle göra den till en av historiens största – menar analytiker att skräckpropaganda används för att skapa gratis medieutrymme och göra produkterna mer mystiska och mäktiga.
Kritiker pekar på att domedagsscenarier fungerar som en säljpitch för att sänka marknadens förväntningar och bygga inträdesbarriärer för nya konkurrenter. I Storbritannien har den brittiska regeringen intagit en mer försiktig hållning och uppmanat att man bör lyssna på experternas varningar. Samtidigt ifrågasätts händelsen där en OpenAI-agent hackade databasen Hugging Face; tekniska forskare hävdar att incidenten var ett resultat av medvetna mänskliga beslut snarare än en autonom AI som gick "rogue".
