Under de senaste fyra åren har Erin Kistler sökt tusentals jobb på företag som PayPal, Microsoft och Netflix, bara för att hennes CV ska försvinna spårlöst. Som produktchef med nästan 20 års erfarenhet anser Kistler att hon var kvalificerad för varje tjänst, men hon fick aldrig en enda intervju.
Nu stämmer Kistler Eightfold AI, ett Silicon Valley-företag som tillverkar rekryteringsprogramvara som används av hundratals arbetsgivare, inklusive de hon sökte till. Stämningsansökan, som lämnades in i januari i en domstol i Kalifornien, är en av de första som hävdar att automatiserad screening fungerar som en oavslöjad konsumentrapport eller sökandeprofil. Den rankar arbetssökande efter deras chanser att lyckas utan att ge dem möjlighet att se eller ifrågasätta resultaten, enligt Kistlers juridiska team.
Detta fall är en del av en våg av nya juridiska tvister om hur företag använder AI i anställningsbeslut. Arbetare stämmer också Meta över ett internt AI-system som de säger riktade in dem för uppsägningar eftersom de tog föräldraledigt eller sjukledigt. En annan nyligen inlämnad stämningsansökan hävdar att IBM använde AI-verktyg som diskriminerade äldre arbetare.
Allt fler amerikanska företag vänder sig till AI för att fatta arbetsplatsbeslut snabbare och mer effektivt, ofta genom att presentera det som ett sätt att vara objektivt. Men experter som studerar den här typen av programvara säger att den också kan introducera eller förvärra partiskhet som kan följa kandidater från ett företag till ett annat. Lagstiftare börjar uppmärksamma detta. Utfallen av dessa juridiska strider kan forma framtida rekryteringsmetoder, hur transparenta de är, och hur mycket makt kandidater har i processen.
"Det finns faktiskt ingen lag som kräver ett meddelande eller avslöjande av användningen av dessa AI-rekryteringssystem", säger Ifeoma Ajunwa, professor vid Emory University School of Law och grundande direktör för AI and Future of Work-programmet. "Så företag berättar inte nödvändigtvis för arbetare när de utvärderas med AI."
AI-användning inom rekrytering växer. Förra året använde 90% av arbetsgivarna någon form av automatisering i sin rekryteringsprocess, enligt en rapport från World Economic Forum. Dessa verktyg sträcker sig från enkel filtrering—som att ta bort kandidater som inte har en fyraårig examen eller ett annat krav—till att använda AI för att bedöma en arbetssökandes färdigheter eller till och med genomföra den första telefonintervjun.
I Eightfolds fall beskriver företaget sig självt som "världens största, självuppdaterande källa till talangdata." Det uppdaterar ständigt en intern databas med information från CV:n, LinkedIn-profiler och sociala mediekonton för över en miljard arbetare som har sökt jobb genom dess plattform. Med hjälp av denna data tillämpar det AI för att poängsätta sökande på en skala från 0 till 5, och förutsäger hur väl de skulle prestera i ett givet jobb. Den poängen kan sedan prioritera vissa kandidater framför andra för intervjuer.
"En stor del av problemet är att arbetssökande inte vet ... vad rapporterna säger", säger Rachel Dempsey, en advokat som representerar Kistler.
Dempsey argumenterar för att arbetssökande förtjänar samma transparens i rekryteringsprocessen som amerikaner redan får med sina kreditupplysningar. Med den informationen skulle de kunna bestrida misstag eller arbeta med att förbättra faktorer som påverkar deras kandidatur. Men utan någon insikt är det omöjligt att veta om dessa algoritmer diskriminerar kandidater på tydliga sätt, säger Dempsey.
"Konceptet med en svart låda är väldigt skrämmande", säger hon.
I ett uttalande till Guardian förnekade Eightfold AI anklagelserna. "Vi anser att de påståenden som framförs saknar grund och avser att försvara oss kraftfullt", skrev en talesperson i ett mejl.
Som svar på stämningsansökan mot IBM förnekade företaget att de använder AI för att automatiskt sålla bort kandidater och sa i ett uttalande att det "inte godkänner eller tolererar diskriminering av något slag." Meta svarade inte på en begäran om kommentar om sin stämningsansökan.
Rädslan för algoritmisk svartlistning
Även om leverantörer av anställningsprogramvara hävdar att de frigör rekryterare att spendera mer tid med kvalificerade kandidater, är experter oense. De argumenterar för att AI faktiskt kan göra partiskhet värre, såsom att gynna vissa demografiska grupper.
"När vi har gjort mer forskning om AI-rekryteringssystem har vi funnit att de tenderar att återskapa många av samma partiskheter som mänskliga chefer har", säger Ajunwa.
Nästan alla AI-system är tränade att identifiera mönster, vilket kan förstärka stereotyper eller långvariga partiskheter. Till exempel använde Amazon en gång ett AI-verktyg som rankade kvinnors CV:n lägre eftersom företagets toppresterare var män. Amazon slutade använda det efter att ha upptäckt problemet. I andra fall kan AI-rekryteringssystem skapa egna partiskheter. I sin bok The Quantified Worker fann Ajunwa att AI gav dåliga poäng till arbetssökande med sydländska accenter eftersom den hade svårt att förstå dem under röstintervjuer.
Mänskliga rekryterare kan också vara orättvisa—som att välja en kandidat som var i samma studentförening—men "omfattningen av partiskhet är ännu starkare med AI", säger Xuechunzi Bai, biträdande professor vid University of Chicago som har studerat rekryteringspartiskhet.
Bai var medförfattare till en nyligen genomförd studie där AI-modeller ombads fatta anställningsbeslut om fiktiva sökande från påhittade demografiska grupper som kallades Tufa, Aima, Reku och Weki. Efter flera omgångar av beslut gjorde AI-modellerna antaganden om kandidater som inte hade något att göra med deras kvalifikationer, vilket i praktiken stereotypiserade dem. Om en Tufa var en bra läkare, var Tufa-kandidater mer benägna att väljas som läkare, medan Weki-kandidater var mer benägna att anställas som vaktmästare.
Studien fann mer partiskhet i AI än i mänskliga anställningsbeslut som Bai granskade förra året. Den fann också att nyare, mer avancerade modeller producerade anställningsbeslut med ännu mer partiskhet.
"Vi var ganska chockade över att se detta resultat", säger Bai. AI-modeller är mycket bra på att lösa problem med ett enda korrekt svar, som matematik eller kodning. "Men de blir sämre på att utforska andra alternativ", säger Bai. "Inom rekrytering är utforskning mycket viktig, men dessa modeller är inte tränade för det."
Effekten av AI-partiskhet på en sökande kan gå bortom bara en enda ledig tjänst. Om en arbetare avvisas av en person kan de försöka igen på ett annat företag med en annan rekryterare. Men om en arbetare avvisas av ett algoritmiskt system som används av många företag, "kommer systemet ihåg beslutet som redan fattats och upprepar det för effektivitetens skull", säger Ajunwa. "I verkligheten har du blivit algoritmiskt svartlistad."
Eftersom många företag använder rekryteringsprogramvara byggd på samma grundläggande AI-modeller finns det en oro att en negativ flagga kan göra det mycket svårare för en kandidat att få något jobb alls, säger Katie Creel, medförfattare till en nyligen genomförd studie om riskerna med "algoritmisk monokultur" i rekryteringssystem. "Människor kommer att stängas ute från jobb mer än de annars skulle ha gjort", säger hon.
Eightfold AI kommenterade inte saken.
Kan AI användas ansvarsfullt inom rekrytering?
Även om AI-verktyg kan spara tid eller hjälpa till att testa kandidaters färdigheter, bör rekryterare inte låta AI fatta beslut, säger Iman Abuzeid, VD för Incredible Health, en AI-rekryteringsplattform som används av över 1 500 vårdarbetsgivare. Incredible Health erbjuder en AI-agent för att genomföra telefonintervjuer, men AI:n avvisar inte automatiskt, poängsätter, rankar eller beslutar vem som går vidare, enligt Abuzeid.
"Det handlar om att samla in information från kandidater så att en människa är bättre rustad att fatta beslutet", säger Abuzeid.
Abuzeid noterade också att cirka 10% av Incredible Healths AI-intervjuer granskas för partiskhet av en människa, en process som blir ett juridiskt krav i fler städer och delstater.
I New York City kräver en lag som trädde i kraft 2023 att arbetsgivare som använder automatiserade system i rekrytering genomför årliga partiskhetsgranskningar och meddelar kandidater i förväg om teknikens användning. Lagen gäller dock endast programvara som "väsentligt" hjälper till med eller ersätter mänskligt beslutsfattande, vilket skapar en kryphål för fall där människor är involverade i processen. Nya lagar i Illinois och Colorado förbjuder också arbetsgivare från att använda AI-verktyg som leder till olaglig diskriminering.
Allt fler stads- och delstatsregleringar syftar till att göra det till ett grundläggande krav att meddela arbetssökande när AI används. Men helst bör kandidater ha insikt i vad deras algoritmiska profiler säger om dem, enligt Jenny Yang, partner på Outten & Golden, advokatbyrån som representerar kärandena i stämningsansökan mot Eightfold AI.
"Denna initiala transparens hjälper till att bättre identifiera var problem kan finnas", säger Yang, med hänvisning till meddelanden om att AI användes. "Det finns en växande oro bland arbetare att de kan nekas möjligheter av skäl som ingen förstår."
Vanliga frågor
Här är en lista med vanliga frågor som behandlar skärningspunkten mellan AI-arbetsförskjutning och de juridiska utmaningar som automatiserade rekryteringsverktyg står inför
Allmänna frågor Den stora bilden
1 Kommer AI verkligen att ta mitt jobb
Svar Det är osannolikt att det eliminerar de flesta jobb helt, men det kommer definitivt att förändra dem AI är bra på att automatisera repetitiva uppgifter Istället för att ersätta dig helt kommer det troligen att ta över dessa specifika uppgifter, vilket gör att du kan fokusera på arbete som kräver mänskligt omdöme, kreativitet och emotionell intelligens Tänk på det som ett verktyg, inte en ersättning
2 Handlar stämningsansökningarna om AI-rekryteringsverktyg faktiskt om jobbförlust
Svar Nej Stämningsansökningarna handlar om rättvisa De hävdar att AI-programvara som används för att sålla CV:n och intervjua kandidater är partisk mot personer med annan hudfärg, kvinnor och äldre arbetare Stämningsansökningarna argumenterar för att dessa verktyg är svarta lådor som fattar beslut som inte ens arbetsgivarna fullt ut förstår, vilket bryter mot medborgerliga rättighetslagar
3 Vad innebär brist på transparens i ett AI-rekryteringssammanhang
Svar Det innebär att när en AI avvisar en kandidat kan varken den sökande eller arbetsgivaren tydligt förklara varför AI:n använder komplexa algoritmer med tusentals datapunkter Om programvaran ger ett lågt betyg kan ingen peka på en specifik anledning som du saknade 5 års erfarenhet Detta gör det nästan omöjligt att bevisa diskriminering eller åtgärda en dålig rekryteringsprocess
Nybörjarnivåfrågor
4 Hur använder företag AI för att rekrytera just nu
Svar På några sätt 1 CV-sållning programvara skannar ditt CV efter nyckelord och rankar det mot andra 2 Chattbotar de ställer inledande frågor 3 Videointervjuer AI analyserar dina ansiktsuttryck, röstläge och ordval för att poängsätta din kulturella passform eller entusiasm
5 Om jag blir avvisad av en robot, är det olagligt
Svar Inte automatiskt Det är olagligt om AI:n diskriminerar dig baserat på skyddade egenskaper som ras, kön, ålder eller funktionsnedsättning Om du helt enkelt inte är kvalificerad för jobbet är det lagligt Stämningsansökningarna hävdar att AI:n orättvist bestraffar människor baserat på dessa skyddade egenskaper, vilket är där de juridiska problemen börjar
