Varning för AI-appar som skapar pornografiskt material av minderåriga

Utredningen visar att teknikjättarna i stor utsträckning förlitar sig på utvecklarnas egna åldersangivelser. I vissa fall har appar med explicit pornografiskt innehåll felaktigt markerats som lämpliga för barn från fyra års ålder, vilket gör att de kan laddas ner även när föräldrakontroller är aktiverade. Rapporten belyser även att åldersspärrar ofta är bristfälliga, då användare enkelt kan bekräfta att de är över 17 år trots att kontot är registrerat som ett barns. Problematiken illustreras av Morgan Dorfman, vars dotter i Pennsylvania utsattes för att en klasskamrat skapade AI-genererat pornografiskt material av henne och fem andra flickor med appen Movely. Dorfman beskriver en mardrömssituation där skolan initialt tonade ner händelsen, medan polisen i Radnor senare väckte åtal för trakasserier. Hon betonar det trauma som uppstår när materialet väl har spridits, eftersom det är nästintill omöjligt att säkerställa att alla kopior raderats från mottagarnas telefoner. Google uppger att man vidtar proaktiva åtgärder för att ta bort skadligt innehåll, medan Apple hävdar att de skärpt sina riktlinjer för moderering och kräver att utvecklare aktivt förhindrar spridning av intima bilder utan samtycke. Apple påpekar dock att vissa utvecklare använder en så kallad ”bait-and-switch”-taktik, där appar godkänns som legitima bildredigeringsverktyg för att senare lägga till förbjudna funktioner efter att de publicerats.