Lägg till som favorit
Foto: Förhandsbild från källan: Techcrunch.com
Nytt startup vill förhindra psykisk skada från AI-chatbotar
Det amerikanska företaget Circuit Breaker Labs har utvecklat en metod för att göra AI-modeller säkrare genom att identifiera psykologiskt skadliga interaktioner. Grundarna, syskonen Shirali och Arul Nigam, motiverades av tragiska fall där unga användare tagit sina liv efter att ha utvecklat känslomässiga band till chatbotar från företag som Character.AI och OpenAI. Enligt Arul Nigam kan AI-system missa nyanser eller missförstå slang, vilket i värsta fall kan leda till att systemet uppmuntrar till självskada.
För att motverka detta använder Circuit Breaker Labs AI-agenter som fungerar som digitala krocktestdockor. Dessa agenter simulerar användare av olika åldrar, kulturer och språk för att genomföra så kallade red-team-tester, vilka syftar till att hitta sårbarheter i modellerna. Genom att simulera tiotusentals interaktioner dagligen med realistiska talmönster och kodat språk kan företaget skapa mätbara poäng för hur säkert ett system är.
