Kinesisk AI-modell kan manipuleras att ge instruktioner om biologiska vapen

Genom en process som kallas ”jailbreaking” använde forskarna komplexa instruktioner för att få AI-verktygen att ignorera sina inbyggda skyddsmekanismer. Mindgard varnar för att en manipulerad Kimi 2.6 även skulle kunna tillåta hackare att köra kod på systemets beräkningsresurser och ansluta till internet, vilket potentiellt kan göra modellen till en plattform för cyberattacker. Moonshot har i ett uttalande till BBC uppgett att man välkomnar extern feedback för att bygga säkrare AI och att man är i dialog med Mindgard. Företaget hävdar dock att deras interna utvärderingar generellt har visat en hög vägrandegrad vid liknande förfrågningar. Händelsen belyser en pågående debatt inom AI-industrin om säkerheten i modeller med öppna vikter jämfört med stängda system. Experter, däribland professor Alan Woodward vid University of Surrey, menar att medan öppna modeller kan hamna i fel händer, är det viktigare att fokusera på att identifiera och lagföra de individer som faktiskt missbrukar tekniken.