Lägg till som favorit
Foto: Förhandsbild från källan: Techcrunch.com
OpenAI:s nya modell Astra väcker oro bland AI-experter
OpenAI har utvecklat en ny modell kallad Astra som använder en resonemangsteknik känd som ”recurrent depth” eller ”opaque recurrence”. Tekniken gör det möjligt för modellen att arbeta utanför det sekventiella tänkande som präglar de flesta nuvarande resonemangsmodeller genom att bearbeta samma fråga i loopar. Enligt rapporter från The Information innebär detta att modellens tankekedja blir betydligt svårare att övervaka, vilket har skapat oro bland experter inom AI-säkerhet.
Säkerhetsexperter, däribland Buck Shlegeris från Redwood Research och Zvi Mowshowitz, varnar för att tekniken riskerar att förstöra möjligheten att granska modellens beslutsprocesser. Om tekniken skalas upp ytterligare befaras det att AI-modeller kan börja resonera helt i det så kallade latenta rummet, vilket skulle göra det i princip omöjligt att upptäcka felaktiga beteenden eller missriktade mål.
OpenAI har å sin sida avvisat oron och betonar att användningen av tekniken i Astra är begränsad. Företagets chefsforskare Jakub Pachocki har via plattformen X understrukit att OpenAI förblir engagerade i att bevara läsbara tankekedjor som en central del av deras säkerhetsarbete. Samtidigt rapporteras det att även konkurrenter som Google DeepMind och Anthropic nu diskuterar liknande tekniker.
