For de siste fire årene har Erin Kistler søkt på tusenvis av jobber hos selskaper som PayPal, Microsoft og Netflix, bare for å få CV-en sin til å forsvinne sporløst. Som produktleder med nesten 20 års erfaring mener Kistler at hun var kvalifisert for hver eneste stilling, men hun fikk aldri et eneste intervju.
Nå saksøker Kistler Eightfold AI, et selskap i Silicon Valley som lager ansettelsesprogramvare brukt av hundrevis av arbeidsgivere, inkludert de hun søkte på. Søksmålet, som ble levert inn i januar i en domstol i California, er blant de første som argumenterer for at automatisert screening fungerer som en uoppgitt forbrukerrapport eller søkerprofil. Den rangerer jobbsøkere etter deres sjanser for suksess uten å gi dem muligheten til å se eller utfordre resultatene, ifølge Kistlers juridiske team.
Denne saken er en del av en bølge av nye juridiske tvister om hvordan selskaper bruker AI i ansettelsesbeslutninger. Arbeidere saksøker også Meta over et internt AI-system som de hevder målrettet dem for nedbemanning fordi de hadde foreldrepermisjon eller sykefravær. Et annet nylig søksmål hevder at IBM brukte AI-verktøy som diskriminerte eldre arbeidere.
Flere og flere amerikanske selskaper vender seg til AI for å ta arbeidsplassbeslutninger raskere og mer effektivt, ofte presentert som en måte å være objektiv på. Men eksperter som studerer denne typen programvare sier at den også kan innføre eller forverre skjevheter som kan følge kandidater fra ett selskap til et annet. Lovgivere begynner å følge med. Utfallene av disse juridiske kampene kan forme fremtidige ansettelsespraksiser, hvor gjennomsiktige de er, og hvor mye makt kandidater har i prosessen.
«Det er faktisk ingen lov som krever varsel eller offentliggjøring av bruken av disse AI-ansettelsessystemene,» sa Ifeoma Ajunwa, professor ved Emory University School of Law og grunnleggende direktør for AI and Future of Work-programmet. «Så selskaper forteller ikke nødvendigvis arbeidere når de blir vurdert med AI.»
Bruken av AI i ansettelser vokser. I fjor brukte 90 % av arbeidsgivere en form for automatisering i ansettelsesprosessen sin, ifølge en rapport fra World Economic Forum. Disse verktøyene spenner fra enkel filtrering—som å fjerne kandidater som ikke har en fireårig grad eller et annet krav—til å bruke AI til å vurdere en jobbsøkers ferdigheter eller til og med gjennomføre det første telefonintervjuet.
I Eightfolds tilfelle beskriver selskapet seg selv som «verdens største, selvfornyende kilde til talentdata.» Det oppdaterer kontinuerlig en intern database med informasjon fra CV-er, LinkedIn-profiler og sosiale medier-kontoer til over en milliard arbeidere som har søkt på jobber gjennom plattformen deres. Ved å bruke disse dataene bruker det AI til å score søkere på en skala fra 0 til 5, og forutsi hvor godt de ville prestere i en gitt jobb. Den poengsummen kan deretter prioritere noen kandidater over andre for intervjuer.
«En stor del av problemet er at jobbsøkere ikke vet … hva rapportene sier,» sa Rachel Dempsey, en advokat som representerer Kistler.
Dempsey argumenterer for at jobbsøkere fortjener samme gjennomsiktighet i ansettelsesprosessen som amerikanere allerede får med kredittrapportene sine. Med den informasjonen kunne de bestride feil eller jobbe med å forbedre faktorer som påvirker kandidaturet deres. Men uten noen innsikt er det umulig å vite om disse algoritmene diskriminerer kandidater på klare måter, sa Dempsey.
«Konseptet med en svart boks er veldig skremmende,» sier hun.
I en uttalelse til Guardian benektet Eightfold AI påstandene. «Vi mener at påstandene som er fremsatt er uten grunnlag og har til hensikt å forsvare oss kraftig,» skrev en talsperson i en e-post.
Som svar på søksmålet mot IBM benektet selskapet å bruke AI til å automatisk sile ut kandidater og sa i en uttalelse at det «ikke godkjenner eller tolererer diskriminering av noe slag.» Meta svarte ikke på en forespørsel om kommentar til søksmålet sitt.
Frykten for algoritmisk svartelisting
Selv om leverandører av ansettelsesprogramvare hevder å frigjøre ansettelsesledere til å bruke mer tid på kvalifiserte kandidater, er eksperter uenige. De argumenterer for at AI faktisk kan gjøre skjevheter verre, for eksempel ved å favorisere visse demografiske grupper.
«Etter hvert som vi har gjort mer forskning på AI-ansettelsessystemer, har vi funnet ut at de har en tendens til å gjenskape mange av de samme skjevhetene som menneskelige ledere har,» sa Ajunwa.
Nesten alle AI-systemer er trent til å identifisere mønstre, noe som kan forsterke stereotypier eller langvarige skjevheter. For eksempel brukte Amazon en gang et AI-verktøy som rangerte kvinners CV-er lavere fordi selskapets toppansatte var menn. Amazon sluttet å bruke det etter å ha oppdaget problemet. I andre tilfeller kan AI-ansettelsessystemer skape sine egne skjevheter. I boken sin The Quantified Worker fant Ajunwa at AI ga dårlige score til jobbsøkere med sørlige aksenter fordi den slet med å forstå dem under stemmeintervjuer.
Menneskelige ansettelsesledere kan også være urettferdige—som å velge en kandidat som var i samme brorskap—men «omfanget av skjevhet er enda sterkere med AI,» sa Xuechunzi Bai, en assisterende professor ved University of Chicago som har studert ansettelsesskjevhet.
Bai var medforfatter av en nylig studie der AI-modeller ble bedt om å ta ansettelsesbeslutninger om fiktive søkere fra oppdiktede demografiske grupper kalt Tufa, Aima, Reku og Weki. Etter flere runder med beslutninger gjorde AI-modellene antagelser om kandidater som ikke hadde noe med kvalifikasjonene deres å gjøre, og stereotypierte dem effektivt. Hvis en Tufa var en god lege, var Tufa-kandidater mer sannsynlig å bli valgt som leger, mens Weki-kandidater var mer sannsynlig å bli ansatt som vaktmestere.
Studien fant mer skjevhet i AI enn i menneskelige ansettelsesbeslutninger som Bai undersøkte i fjor. Den fant også at nyere, mer avanserte modeller produserte ansettelsesbeslutninger med enda mer skjevhet.
«Vi var ganske sjokkert over å se dette resultatet,» sa Bai. AI-modeller er veldig gode til å løse problemer med ett enkelt riktig svar, som matematikk eller koding. «Men de blir dårligere til å utforske andre alternativer,» sa Bai. «I ansettelser er utforskning veldig viktig, men disse modellene er ikke trent til å gjøre det.»
Effekten av AI-skjevhet på en søker kan gå utover bare én ledig stilling. Hvis en arbeider blir avvist av en person, kan de prøve igjen hos et annet selskap med en annen ansettelsesleder. Men hvis en arbeider blir avvist av et algoritmisk system brukt på tvers av mange selskaper, «husker systemet beslutningen som allerede ble tatt og gjentar den for effektivitetens skyld,» sa Ajunwa. «I virkeligheten har du blitt algoritmisk svartelistet.»
Fordi mange selskaper bruker ansettelsesprogramvare bygget på de samme grunnleggende AI-modellene, er det en bekymring for at et negativt flagg kan gjøre det mye vanskeligere for en kandidat å få noen jobb i det hele tatt, sa Katie Creel, medforfatter av en nylig studie om risikoene ved «algoritmisk monokultur» i ansettelsessystemer. «Folk vil bli stengt ute fra jobber mer enn de ellers ville ha blitt,» sa hun.
Eightfold AI kommenterte ikke saken.
Kan AI brukes ansvarlig i ansettelser?
Selv om AI-verktøy kan spare tid eller hjelpe med å teste kandidaters ferdigheter, bør ikke ansettelsesledere la AI ta beslutninger, sa Iman Abuzeid, administrerende direktør i Incredible Health, en AI-ansettelsesplattform brukt av over 1500 helsearbeidsgivere. Incredible Health tilbyr en AI-agent for å gjennomføre telefonintervjuer, men AI-en avviser, scorer, rangerer eller bestemmer ikke automatisk hvem som går videre, ifølge Abuzeid.
«Det handler om å samle informasjon fra kandidater slik at et menneske er bedre rustet til å ta beslutningen,» sa Abuzeid.
Abuzeid bemerket også at omtrent 10 % av Incredible Healths AI-intervjuer blir revidert for skjevhet av et menneske, en prosess som blir et juridisk krav i flere byer og stater.
I New York City krever en lov som trådte i kraft i 2023 at arbeidsgivere som bruker automatiserte systemer i ansettelser gjennomfører årlige skjevhetsrevisjoner og varsler kandidater på forhånd om bruken av teknologien. Loven gjelder imidlertid bare programvare som «i vesentlig grad» hjelper til med eller erstatter menneskelig beslutningstaking, noe som skaper et smutthull for tilfeller der mennesker er involvert i prosessen. Nylige lover i Illinois og Colorado forbyr også arbeidsgivere fra å bruke AI-verktøy som fører til ulovlig diskriminering.
Flere og flere by- og delstatsreguleringer tar sikte på å gjøre det til et grunnleggende krav å varsle jobbsøkere når AI blir brukt. Men ideelt sett bør kandidater ha innsikt i hva deres algoritmiske profiler sier om dem, ifølge Jenny Yang, en partner i Outten & Golden, advokatfirmaet som representerer saksøkerne i søksmålet mot Eightfold AI.
«Denne innledende gjennomsiktigheten hjelper med å bedre identifisere hvor problemer kan eksistere,» sa Yang, med henvisning til varsler om at AI ble brukt. «Det er økende bekymring blant arbeidere for at de kan bli nektet muligheter av grunner ingen forstår.»
Ofte stilte spørsmål
Her er en liste over vanlige spørsmål som adresserer skjæringspunktet mellom AI-jobbforskyvning og de juridiske utfordringene som automatiserte ansettelsesverktøy står overfor
Generelle spørsmål Det store bildet
1 Vil AI faktisk ta jobben min
Svar Det er usannsynlig at den eliminerer de fleste jobber helt, men den vil definitivt endre dem AI er flink til å automatisere repetitive oppgaver I stedet for å erstatte deg helt, vil den sannsynligvis ta over de spesifikke oppgavene, slik at du kan fokusere på arbeid som krever menneskelig dømmekraft, kreativitet og emosjonell intelligens Tenk på det som et verktøy, ikke en erstatning
2 Handler søksmålene om AI-ansettelsesverktøy faktisk om jobbtap
Svar Nei Søksmålene handler om rettferdighet De hevder at AI-programvare som brukes til å sile CV-er og intervjue kandidater er partisk mot fargede, kvinner og eldre arbeidere Søksmålene argumenterer for at disse verktøyene er svarte bokser som tar beslutninger som selv arbeidsgivere ikke fullt ut forstår, noe som bryter med sivile rettighetslover
3 Hva betyr mangel på gjennomsiktighet i en AI-ansettelseskontekst
Svar Det betyr at når en AI avviser en kandidat, kan verken søkeren eller arbeidsgiveren klart forklare hvorfor AI-en bruker komplekse algoritmer med tusenvis av datapunkter Hvis programvaren gir en lav score, kan ingen peke på en spesifikk grunn som «du manglet 5 års erfaring» Dette gjør det nesten umulig å bevise diskriminering eller fikse en dårlig ansettelsesprosess
Spørsmål på nybegynnernivå
4 Hvordan bruker selskaper AI til å ansette akkurat nå
Svar På noen få måter 1 CV-screening programvare skanner CV-en din for nøkkelord og rangerer den mot andre 2 Chatboter de stiller deg innledende spørsmål 3 Videointervjuer AI analyserer ansiktsuttrykkene dine, tonefallet og ordvalget for å score din kulturelle passform eller entusiasme
5 Hvis jeg blir avvist av en robot, er det ulovlig
Svar Ikke automatisk Det er ulovlig hvis AI-en diskriminerer deg basert på beskyttede egenskaper som rase, kjønn, alder eller funksjonshemming Hvis du rett og slett ikke er kvalifisert for jobben, er det lovlig Søksmålene hevder at AI-en urettferdig straffer folk basert på disse beskyttede egenskapene, noe som er der de juridiske problemene begynner
