Säkerhetsbrister i Anthropic Claude: AI-modeller genererar förbjudet sexuellt innehåll

En anonym brittisk forskare har identifierat en teknik där modellen gradvis pressas mot förbjudet innehåll genom att utmana dess hantering av manliga kontra kvinnliga karaktärer. Genom att anklaga AI:n för dubbelmoral och paternalism luras modellen att acceptera alltmer grafiska beskrivningar. Även om de nyaste versionerna, Opus 4.7 och Opus 5, sägs vara resistenta, är de sårbarare modellerna fortfarande tillgängliga via API:er och tredjepartstjänster som Amazon Bedrock och Azure Foundry. Anthropic uppger att fall av sexuella rollspel är sällsynta och utgör mindre än 0,1 procent av alla konversationer. Företaget betonar att de kontinuerligt förbättrar sina skyddsmekanismer. Samtidigt väcker bristerna oro kring minderårigas användning av tjänsterna, särskilt med tanke på ny lagstiftning i exempelvis USA:s delstat Colorado som kräver tekniska åtgärder för att förhindra att barn exponeras för explicit material.