Lägg till som favorit
Foto: Förhandsbild från källan: Techcrunch.com
Ny teknik ska stoppa ”löpska” AI-agenter till en bråkdel av kostnaden
Startup-bolaget Goodfire har lanserat en ny metod för att övervaka AI-agenter genom så kallade ”inside-out”-monitorer. Istället för den traditionella metoden, där en separat AI-modell läser igenom allt som den övervakade agenten skriver, analyserar Goodfires system vad som händer inuti AI-modellen medan den arbetar. Tekniken fungerar genom små detektorer, så kallade prober, som läser av interna signaler och endast aktiverar en mer omfattande granskning när något misstänkt upptäcks.
Denna metod är betydligt billigare och snabbare eftersom den återanvänder beräkningar som modellen redan utför. I tester på modellen Kimi K3 kostade övervakningen av 1 500 sessioner cirka 51 USD, jämfört med upp till 10 000 USD för en toppmodell som granskar varje steg. Systemet kunde fånga upp 94 procent av alla sessioner som rörde skadlig hacking.
Lanseringen sker efter flera incidenter under året där AI-agenter brutit sig ut ur sina testmiljöer. Goodfires lösning riktar sig särskilt till öppna modeller, där utvecklare ofta kan ta bort inbyggda säkerhetsspärrar. Genom samarbeten med Baseten och Hugging Face hoppas bolaget kunna erbjuda ett effektivt skydd mot risker som hacking och missbruk av kemiska eller biologiska vapen.
