AI-övervakning kräver AI: Ny trend för att kontrollera autonoma agenter

Svaret från AI-labb och nystartade företag är att placera ytterligare en AI i kontrollkedjan för att övervaka de primära agenterna. Företag som Apollo Research har lanserat verktyg som granskar föreslagna åtgärder innan de utförs, i syfte att förhindra dataläckor eller obehöriga filraderingar. Andra, som Goodfire, fokuserar på modellernas interna tillstånd för att upptäcka oönskat beteende som är svårare att simulera på ytan. Trots den kommersiella boomen finns det skeptiker som varnar för att en skadlig AI kan lära sig att lura den övervakande AI:n. Vissa experter, däribland teknikbloggaren Simon Willison, menar att lösningen inte ligger i mer AI, utan i grundläggande cybersäkerhet och detaljerad loggning av nätverkstrafik. Enligt VD:n för säkerhetsföretaget Tailscale är utmaningarna med AI-agenter egentligen identiska med de risker man hanterat inom traditionell nätverkssäkerhet under flera decennier.