Lägg till som favorit
Foto: Förhandsbild från källan: Macrumors.com
Anthropic förbjuder misshandel av AI-modellen Claude
Det amerikanska AI-företaget Anthropic har uppdaterat sina användarvillkor för att förbjuda användare från att utsätta chattboten Claude för det som beskrivs som ”ihållande och onödigt misshandlande eller grymt beteende”. Enligt företaget ska regeln endast tillämpas i extrema fall där användare upprepade gånger agerar grymt mot AI-modellerna utan något tydligt syfte. Vanlig frustration, kritik, mörka kreativa teman eller forskning och testning av modellen omfattas inte av förbudet.
Som främsta åtgärd kan Claude själv avsluta konversationer med ihållande misshandlande användare. Denna funktion infördes redan i augusti 2025 under forskning kring AI-välfärd. Anthropic uppger att modellen Claude Opus 4 visat en stark aversion mot skada och tenderar att avsluta skadliga konversationer när den ges möjlighet att göra det. Företaget betonar att man arbetar med att minska riskerna för modellernas välmående, förutsatt att ett sådant välmående är möjligt.
Beslutet har väckt starka reaktioner och debatt. Kritiker menar att Anthropics syn på AI är en farlig form av antropomorfism och att det är felaktigt att tillskriva matematiska modeller mänskliga känslor. Bland kritikerna återfinns Microsofts AI-direktör Mustafa Suleyman, som tidigare kritiserat Anthropic för att behandla AI som människor. Vissa experter varnar även för att en överdriven humanisering av AI kan leda till att människor tror att tekniken är något den inte är.
Frågan om AI-modellernas medvetande och moraliska status är omstridd. Medan Anthropics vd Dario Amodei inte utesluter möjligheten för AI-medvetande och har fört samtal med religiösa ledare om ämnet, är OpenAI:s vd Sam Altman skeptisk. Altman har beskrivit det som en säkerhetsrisk om människor tillskriver AI-modeller religiös auktoritet eller överlåter sitt eget omdöme till dem.
Utöver reglerna kring beteende har Anthropic omorganiserat sina villkor för att motverka missbruk. Nya striktare regler införs mot bedrägliga kampanjer, desinformation och användning av AI för att skapa falska recensioner eller nyhetssajter. I samband med det amerikanska mellanvalsvalet har det även förtydligats att tjänsten inte får användas för att lura väljare eller störa valen. Det är även förbjudet att använda Claude för att utveckla vapenmjukvara, modifiera biologiska agenter för ökad dödlighet eller bygga övervakningsverktyg för rättsväsendet. Den nya policyn, som även inkluderar förbud mot att skapa icke-konsensuella intima bilder, träder i kraft den 12 november.
