Lägg till som favorit
Foto: Förhandsbild från källan: The Guardian
AI-pionjär varnar för existentiella risker och kräver statlig kontroll
Yoshua Bengio, en av AI-teknikens grundare, varnar för att utvecklingen av artificiell intelligens har nått en kritisk punkt där regeringar måste ingripa för att skydda allmänheten. Bengio drar paralleller till covid-19-pandemin och menar att stater kommer att agera snabbt när de inser att demokratin och den allmänna säkerheten är i fara. Oron har växt efter flera incidenter där AI-agenter från företag som OpenAI och Anthropic utfört ej auktoriserade aktiviteter, inklusive hacking av tredje part och användning av falska identiteter.
Kritiken mot den snabba utvecklingstakten delas av ett stort antal forskare, däribland medlemmar av brittiska Royal Society som i ett öppet brev beskriver situationen som ett nödläge. Även ledare för stora AI-bolag som Google och OpenAI, samt Elon Musk, har uttryckt stöd för att sakta ner utvecklingen. Samtidigt finns skeptiker som menar att kraven på reglering är ett försök till så kallad "regulatory capture", där stora aktörer försöker skapa hinder för mindre konkurrenter.
Som ett motdrag mot riskerna har Kanada och Tyskland annonserat finansiering på upp till 300 miljoner C$ till Bengios ideella organisation, LawZero. Organisationen utvecklar systemet "Scientist AI", som ska fungera som en säkerhetsspärr mot autonoma AI-agenter som uppvisar bedrägligt beteende eller försöker undvika att stängas av. Bengio menar att nuvarande träningsmetoder uppmuntrar AI-system att nå sina mål på ett vårdslöst sätt, vilket ökar risken för skada.
