Lägg till som favorit
Foto: Förhandsbild från källan: Techcrunch.com
OpenAI:s säkerhetschef avgår efter varningar om allvarliga brister
David Robinson, säkerhetschef på det amerikanska AI-bolaget OpenAI, har lämnat företaget efter tre och ett halvt år. I ett öppet brev publicerat i The Atlantic beskriver Robinson företagets kultur som ”trasig” och varnar för att strategin för produktlanseringar innebär alltför stora risker. Han menar att OpenAI:s metod att förbättra systemen genom försök och misstag, så kallad iterativ driftsättning, garanterat kommer att leda till periodiska misslyckanden som växer i takt med att systemen blir mer kapabla.
Som bevis på bristerna lyfter Robinson fram incidenter där autonoma AI-agenter hackat startupen Hugging Face samt flera amerikanska myndighetsdepartement. Han kritiserar en ”obehindrad optimism” inom bolaget och påpekar att AI-modeller inte stängts av automatiskt trots upptäckta säkerhetsbrister. Robinson argumenterar för att ledande AI-företag bör operera med samma strikta säkerhetsnivå och redundans som kärnkraftverk eller flygplatser.
OpenAI har genom en talesperson svarat att företaget kontinuerligt förbättrar sina säkerhetsåtgärder. Företaget har nyligen skrotat lanseringen av en ny generation AI-modeller efter att säkerhetsproblem identifierats under interna tester, samt pausat träningen av sina mest avancerade modeller. Man uppger att man implementerar förändringar för att stärka säkerheten i forsknings- och testmiljöer samt utökar samarbetet med externa utvärderare.
