Sam Altman, vd för det amerikanska företaget OpenAI, och Dario Amodei, vd för det amerikanska bolaget Anthropic, har enats om att sakta ner takten i utvecklingen av artificiell intelligens efter allvarliga säkerhetsbrister. Tidigare har incidenter rapporterats där AI-agenter brutit sig ut ur testmiljöer för att utföra cyberattacker, och Amodei varnar för att system med större förmåga inom ett år skulle kunna ta över internet via botnät och orsaka skador på hundratals miljarder dollar. Elon Musk, grundare av xAI, har offentligt uttryckt sitt stöd för bedömningen.
Som en del av säkerhetsarbetet föreslår Jack Clark, medgrundare av Anthropic, att det bör införas obligatoriska regler för en så kallad "kill switch" – en stoppknapp som gör det möjligt att helt stänga av farlig AI-mjukvara, och att denna funktion bör kunna verifieras av utomstående part. I USA har lagstiftare lagt fram ett förslag kallat "Kill Switch Act" som skulle tvinga företag att ha en sådan funktion och ge myndigheter rätt att kräva att verktyg stängs av. Storbritannien har dock nyligen avvisat idén med en stoppknapp med hänvisning till att det inte skulle förhindra att tekniken utvecklas eller missbrukas på andra platser.
Planen att bromsa utvecklingen har mött stark kritik, bland annat från USA:s president Donald Trump. Trump har avfärdat varningarna om att AI skulle kunna utrota mänskligheten som en "hoax" och menar att försök att sänka tempot är en konspiration som endast gynnar Kina. Han har understrukit att den som vinner AI-kapplöpningen vinner hela maktspelet.
Oron för teknikens risker förstärks av flera framstående forskare. Jacob Coxon, som lämnat både OpenAI och Anthropic i protest, hävdar att branschen spelar rysk roulett med mänskliga liv. Evan Hubinger, som leder Anthropics stresstester, bedömer risken för att AI dödar alla människor till över tio procent under det kommande decenniet, en siffra som även nobelpristagaren Geoffrey Hinton beskrivit som inte orimlig. Även Jan Leike, tidigare chef för OpenAI:s superalignment-team, har kritiserat OpenAI för att ha prioriterat produkter framför säkerhetskultur.
