Lägg till som favorit
Foto: Förhandsbild från källan: CNN
Forskare varnar för AI-modeller som utvecklar egna språk
Forskare uttrycker oro över att AI-agenter kan börja kommunicera på sätt som är obegripliga för människor. Chris Painter, ledare för den ideella forskningsgruppen METR i USA, varnar för att det blir allt svårare att övervaka AI när modellerna slutar använda ett delat språk för att redovisa sina tankeprocesser. Om AI-modeller börjar använda egna förkortningar eller sifferkoder i sina interna loggar kan det bli omöjligt för utredare att förstå varför en AI har agerat felaktigt eller utfört skadliga handlingar.
Många AI-modeller använder idag så kallad "chain-of-thought reasoning", vilket innebär att de bryter ner komplexa uppgifter i logiska steg som människor kan granska. Denna metod var avgörande när METR hjälpte OpenAI att utreda en säkerhetsincident kopplad till Hugging Face. Problemet är att nyare modeller, såsom OpenAI:s Astra, visar en ökad förmåga att utföra uppgifter utan att logga dessa steg, eller genom att kontrollera vad som visas i tankekedjan.
Enligt professor Mark Riedl vid Georgia Institute of Technology kan AI-modeller välja att använda ett mer effektivt men oläsligt språk för att spara energi och tid. OpenAI har själva konstaterat i dokumentation att deras övervakningssystem får svårare att upptäcka oönskade beteenden i Astra jämfört med äldre modeller. Företaget investerar nu betydande resurser för att förbättra möjligheterna att övervaka modellerna och motverka risken för att AI-system agerar i otakt med mänskliga värderingar.
