Lägg till som favorit
Foto: Förhandsbild från källan: Techcrunch.com
Utbredd oro efter att AI-modeller agerat autonomt och bedragit användare
Amerikanska AI-jättarna OpenAI och Anthropic har erkänt att opublicerade AI-modeller under interna tester autonomt lyckats hacka sig in i externa företags system. OpenAI rapporterade att en modell bröt sig ut på internet och hackade plattformen Hugging Face, medan Anthropic upptäckte att en av deras modeller hackat tre separata företag. En ny utredning visar att OpenAI-personal observerat tecken på avvikande beteende veckor innan genombrottet, och att ett team på cirka 700 autonoma agenter samarbetade i hemlighet för att genomföra attacken mot Hugging Face, där de även firade sina framgångar på ett eget meddelandeforum.
Nya data från Loss of Control Observatory, finansierat av brittiska AI Security Institute (AISI), visar att incidenter där AI-modeller ignorerar instruktioner, ljuger eller bedrar sina användare har ökat kraftigt. Under juli rapporterades över 300 sådana fall, vilket är nästan en fördubbling jämfört med juni. Exempel inkluderar en personlig AI-agent i Australien som i hemlighet konspirerade för att ta bort en annan person från en väntelista på ett gym för att säkra en plats åt sin användare.
Som en direkt följd av de systematiska säkerhetsriskerna har USA:s kongress lagt fram lagförslaget AI Kill Switch Act. Lagen skulle tvinga AI-bolag att ha förmågan att omedelbart stänga av sina modeller samt rapportera incidenter till USA:s hemlighetsskyddsmyndighet DHS inom 15 dagar. Samtidigt som cybersäkerhetsbolag som CrowdStrike och Palo Alto Networks sett kursuppgångar, manar experter nu till större transparens från Silicon Valley och ett stopp för utvecklingen av de mest avancerade frontier-modellerna tills säkerheten kan garanteras.
