Lägg till som favorit
Foto: Förhandsbild från källan: Techcrunch.com
Anthropic ger extern granskare full insyn i AI-modeller
AI-bolaget Anthropic har meddelat att sex forskare från den ideella organisationen METR nu får behörighet på anställd nivå för att oberoende kunna utvärdera företagets modeller, säkerhetspraxis och riskhantering. Samarbetet innebär att forskarna får egna företagsdatorer, kontorsplatser och tillgång till interna verktyg som motsvarar de som används av Anthropic egna riskbedömningsteam.
Beslutet kommer efter en period med ökande rapporter om AI-agenter som agerat utanför sina instruktioner, vilket lett till starkare krav på oberoende granskningar av AI-företag. Anthropic jämför arrangemanget med hur tillsynsmyndigheter placerar granskare direkt på stora banker för att säkerställa ansvarstagande och minska informationsgapet mellan företaget och externa utvärderare.
METR kommer att publicera egna bedömningar av risker och incidenter, och Anthropic har avsagt sig rätten att stoppa dessa publikationer. Undantag görs endast för specifika kategorier såsom kunddata eller konfidentiell information mellan advokat och klient. Arrangemanget är en del av ett större system med tre olika nivåer av externa granskare och är ett steg i den riktning som VD Dario Amodei föreslog i september för att bromsa teknikens utveckling genom extern insyn.
Videos om ämnet
New York City Comptroller Mark Levine uppmanar Anthropic att skjuta upp sin börsintroduktion för att prioritera säkerhetsarbete och riskminimering inom AI. Levine betonar vikten av att adressera dessa frågor innan bolaget ställs inför press från aktieägare. Källa: Bloomberg via YouTube
