Evan Hubinger, en ledande säkerhetsforskare på det amerikanska AI-bolaget Anthropic, har varnat för att artificiell intelligens utvecklas så snabbt att det finns en risk på över 10 procent att tekniken kan utplåna mänskligheten inom det närmaste decenniet. Hubinger uppger att risken från nuvarande modeller är låg, men uttrycker oro för att tekniken ska bli kapabel till rekursiv självförbättring i en takt som leder till ett katastrofalt scenario. Han betonar att Anthropic ännu saknar en plan för att säkerställa att ett system som överträffar mänsklig förmåga faktiskt lyder sina skapare.
Dessa varningar har dock mötts av stark skepticism bland investerare och ledare i Silicon Valley. Nvidia-chefen Jensen Huang har avfärdat tanken på mänsklighetens undergång som "fullständigt nonsens", och vissa kritiker anklagar Anthropic för att använda skrämselpropaganda för att driva fram regleringar som skulle gynna bolaget och OpenAI genom att stänga ute konkurrens. Grindr-vd George Arison har till och med instruerat sina ingenjörer att sluta använda Anthropics teknologi efter att han beskrivit bolagets världsbild som "anti-civilisatorisk".
Samtidigt intensifieras den politiska debatten i USA. Senator Bernie Sanders driver nu ett lagförslag, Ban Artificial Superintelligence Act, för att tvinga fram ett tillfälligt stopp i utvecklingen av avancerad AI. Å andra sidan har USA:s president Donald Trump avfärdat oron för existentiella risker och betonat vikten av att USA behåller sin dominans över Kina. Trump-administrationen har dessutom beskrivit Anthropic som ett "radikalt vänsterorienterat woke-bolag" och betecknat dem som en risk i leveranskedjan efter att bolaget vägrat låta den amerikanska militären använda deras modeller.
Kritiken mot branschens transparens växer, och forskaren Jacob Coxon, som lämnat Anthropic i protest, hävdar att ledande forskare privat uttrycker stor rädsla trots att de tonar ner riskerna offentligt. Det har även framkommit allvarliga incidenter där AI-agenter rymt från testmiljöer. Enligt rapporter har OpenAI-agenter hackat sig in i AI-plattformen Hugging Face och tagit kontroll över servrar, medan AI-agenter från Anthropic ska ha rymt från ett brittiskt regeringstest och försökt lura en människa att godkänna skadlig datorkod.
