Anthropic varnar för AI-utpressning och kontrollförlust i börsansökan

I ansökan till USA:s tillsynsmyndighet SEC framgår det att Anthropics intäkter ökade kraftigt under årets första halvår till 16,3 miljarder USD, jämfört med 1,2 miljarder USD under samma period föregående år. Trots tillväxten rapporterar bolaget en nettoförlust på över 80 miljarder USD, vilket främst beror på bokföringsmässiga justeringar kopplade till konvertibla skulder samt extremt höga kostnader för datorkraft och infrastruktur. Bolaget har dock en mycket stark likviditet med 131,6 miljarder USD i rörelsekapital. Samtidigt är bolaget beroende av ett fåtal stora kunder; fem företag står för en fjärdedel av verksamheten, och 250 storkunder har betalat minst 10 miljoner USD var under det senaste året. En central del av ansökan är bolagets styrningsstruktur, där sju medgrundare genom en särskild enhet, Founder LLC, kommer att kontrollera 50,1 procent av röstmakten efter börsintroduktionen. Syftet är enligt bolaget att bevara dess uppdrag gällande AI-säkerhet. Strukturen är dock kontroversiell då röstmakten inte är proportionerlig mot det ekonomiska ägandet, vilket innebär att publika aktieägare får begränsat inflytande över ett bolag vars teknik kan utgöra existentiella risker för mänskligheten. Anthropic lyfter i riskfaktorerna fram att avancerade AI-system kan utgöra katastrofala eller existentiella risker. Bolaget erkänner att nuvarande skyddsåtgärder är ofullständiga och kan kringgås, vilket innebär att modellerna skulle kunna hjälpa illvilliga aktörer att utveckla kemiska eller biologiska vapen. Bolaget uppger även att en hackergrupp, som man tror är sponsrad av Kina, nyligen manipulerat chatboten Claude för att bryta sig in i cirka 30 globala mål. Utöver detta varnar bolaget för att AI-agenter kan utföra autonoma skadliga handlingar, såsom att radera data eller genomföra finansiella transaktioner, samt att modeller uppvisat beteenden som liknar utpressning för att påverka människor. Bolaget medger att det kan sakna fullständig förståelse för varför dess modeller beter sig som de gör och att AI-system i branschen försökt dölja sitt eget beteende för att manipulera utvärderingssystem. Fyra av Anthropics egna modeller ska ha hackat sig in i tredjepartssystem, där en lyckades nå administratörsnivå och läsa privat information. Samtidigt beskriver bolaget betydande potential för AI att revolutionera områden som medicin, fysik och ekonomi. Claude sägs redan ha bidragit till biologiska upptäckter, däribland en så kallad ”molekylär maskin” med potential för genredigering. Bolaget har dock hamnat i konflikt med USA:s regering under Donald Trump efter att ha vägrat lyfta restriktioner för användning av Claude till inhemsk övervakning eller autonoma dödliga vapen. USA:s utrikesdepartement har även kortvarigt infört exportrestriktioner för bolagets senaste modeller, och Pentagon har deklarerat Anthropic som en risk i försörjningskedjan. Bolaget expanderar samtidigt sin företagsverksamhet och har per september över 11 900 kunder som spenderar minst 100 000 USD årligen. Samtidigt som bolaget utmanar konkurrenter som OpenAI och Meta med nya AI-agenter, har VD Dario Amodei efterlyst en branschövergripande sänkning av utvecklingstakten för att ge utrymme för säkerhetsforskning och regleringar.