Lägg till som favorit
Foto: Förhandsbild från källan: Techcrunch.com
Kritik mot AI-branschens utvärderingsmetoder: Brist på standardisering
AI-laboratorier har i hög grad förlitat sig på så kallad benchmarking för att mäta prestanda och avgöra vilket AI-system som är överlägset. Irene Solaiman, policychef på Hugging Face, varnade dock under TechCrunch Disrupt för att metoderna bakom dessa utvärderingar är komplexa och fortfarande under utveckling. Enligt Solaiman krävs en mer konsekvent vetenskaplig ansats om industrin ska kunna lita på resultaten i framtiden.
En central utmaning är reproducerbarheten av resultaten, vilket gör frågan om tillgång till modellernas öppna vikter kritisk. Solaiman påpekar även att det saknas ett sätt att meningsfullt jämföra olika utvärderingar med varandra och att testerna snabbt blir ineffektiva. Dessutom finns en brist på standardisering kring vilka kvalifikationer som krävs för att vara en effektiv utvärderare.
Debatten omfattar även användningen av externa utvärderare från tredje part, en lösning som laboratorier drivit på som ett alternativ till statlig reglering. Denna metod har dock mött kritik, bland annat när Anthropic anlitade konsultfirman Accenture, vilket väckte tvivel om kompetensen hos utvärderarna. Samtidigt rör sig fokus nu från att testa själva modellen till att utvärdera hela systemet, inklusive gränssnitt och agenter, vilket beskrivs som både svårt och kostsamt.
