Negli ultimi quattro anni, Erin Kistler ha inviato candidature a migliaia di posti di lavoro presso aziende come PayPal, Microsoft e Netflix, solo per vedere il suo curriculum sparire senza lasciare traccia. Come product manager con quasi 20 anni di esperienza, Kistler ritiene di essere qualificata per ogni posizione, eppure non ha mai ottenuto un solo colloquio.
Ora, Kistler sta facendo causa a Eightfold AI, un'azienda della Silicon Valley che produce software di assunzione utilizzato da centinaia di datori di lavoro, inclusi quelli a cui si è candidata. La causa, depositata a gennaio presso un tribunale della California, è una delle prime a sostenere che lo screening automatizzato agisce come un rapporto al consumo o un profilo del candidato non divulgato. Classifica i candidati in base alle loro probabilità di successo senza dare loro la possibilità di vedere o contestare i risultati, secondo il team legale di Kistler.
Questo caso fa parte di un'ondata di nuove controversie legali su come le aziende utilizzano l'IA nelle decisioni occupazionali. I lavoratori stanno anche facendo causa a Meta per un sistema di IA interno che, secondo loro, li ha presi di mira per i licenziamenti perché avevano usufruito di congedi parentali o medici. Un'altra causa recente sostiene che IBM ha utilizzato strumenti di IA che discriminavano i lavoratori più anziani.
Sempre più aziende statunitensi si stanno rivolgendo all'IA per prendere decisioni sul posto di lavoro in modo più rapido ed efficiente, spesso presentandola come un modo per essere obiettivi. Ma gli esperti che studiano questo tipo di software affermano che può anche introdurre o peggiorare pregiudizi che potrebbero seguire i candidati da un'azienda all'altra. I legislatori stanno iniziando a prestare attenzione. Gli esiti di queste battaglie legali potrebbero plasmare le future pratiche di assunzione, la loro trasparenza e quanto potere avranno i candidati nel processo.
"Non esiste in realtà alcuna legge che richieda una notifica o una divulgazione dell'uso di questi sistemi di assunzione basati sull'IA", ha dichiarato Ifeoma Ajunwa, professoressa presso la Emory University School of Law e direttrice fondatrice del programma AI and Future of Work. "Quindi le aziende non stanno necessariamente informando i lavoratori quando vengono valutati con l'IA".
L'uso dell'IA nelle assunzioni è in crescita. Lo scorso anno, il 90% dei datori di lavoro ha utilizzato qualche forma di automazione nel proprio processo di assunzione, secondo un rapporto del World Economic Forum. Questi strumenti vanno dal semplice filtraggio, come eliminare i candidati che non hanno una laurea quadriennale o un altro requisito, all'uso dell'IA per valutare le competenze di un candidato o persino condurre il primo colloquio telefonico.
Nel caso di Eightfold, l'azienda si descrive come "la più grande fonte di dati sui talenti al mondo, che si aggiorna da sola". Aggiorna costantemente un database interno con informazioni provenienti da curriculum, profili LinkedIn e account di social media di oltre un miliardo di lavoratori che hanno fatto domanda per posti di lavoro attraverso la sua piattaforma. Utilizzando questi dati, applica l'IA per assegnare punteggi ai candidati su una scala da 0 a 5, prevedendo quanto bene potrebbero performare in un determinato lavoro. Quel punteggio può poi dare priorità ad alcuni candidati rispetto ad altri per i colloqui.
"Gran parte del problema è che i candidati non sanno... cosa dicono i rapporti", ha dichiarato Rachel Dempsey, avvocato che rappresenta Kistler.
Dempsey sostiene che i candidati meritano la stessa trasparenza nel processo di assunzione che gli americani già hanno con i loro rapporti di credito. Con quelle informazioni, potrebbero contestare errori o lavorare per migliorare i fattori che influenzano la loro candidatura. Ma senza alcuna visibilità, è impossibile sapere se questi algoritmi discriminano i candidati in modi evidenti, ha detto Dempsey.
"Il concetto di scatola nera è molto spaventoso", afferma.
In una dichiarazione al Guardian, Eightfold AI ha negato le accuse. "Crediamo che le rivendicazioni avanzate siano prive di fondamento e intendiamo difenderci vigorosamente", ha scritto un portavoce in una email.
In risposta alla causa contro IBM, l'azienda ha negato di utilizzare l'IA per escludere automaticamente i candidati e ha dichiarato in una nota che "non approva né tollera discriminazioni di alcun tipo". Meta non ha risposto a una richiesta di commento sulla sua causa.
La paura della lista nera algoritmica
Sebbene i fornitori di software per l'occupazione affermino di liberare tempo ai responsabili delle assunzioni per dedicarsi a candidati qualificati, mentre l'IA ha il potenziale di rimuovere i pregiudizi umani dalle assunzioni, gli esperti non sono d'accordo. Sostengono che l'IA può in realtà peggiorare i pregiudizi, come favorire determinati gruppi demografici.
"Mentre abbiamo condotto più ricerche sui sistemi di assunzione basati sull'IA, abbiamo scoperto che tendono a replicare molti degli stessi pregiudizi che hanno i manager umani", ha detto Ajunwa.
Quasi tutti i sistemi di IA sono addestrati a identificare modelli, che possono rafforzare stereotipi o pregiudizi di lunga data. Ad esempio, Amazon una volta ha utilizzato uno strumento di IA che classificava i curriculum delle donne più in basso perché i migliori performer dell'azienda erano uomini. Amazon ha smesso di usarlo dopo aver scoperto il problema. In altri casi, i sistemi di assunzione basati sull'IA possono creare i propri pregiudizi. Nel suo libro The Quantified Worker, Ajunwa ha scoperto che l'IA dava punteggi bassi ai candidati con accenti del sud perché faceva fatica a capirli durante i colloqui vocali.
Anche i responsabili delle assunzioni umani possono essere ingiusti, come scegliere un candidato che era nella stessa confraternita, ma "la scala del pregiudizio è ancora più forte con l'IA", ha detto Xuechunzi Bai, professoressa assistente all'Università di Chicago che ha studiato il pregiudizio nelle assunzioni.
Bai ha co-autorato uno studio recente in cui ai modelli di IA è stato chiesto di prendere decisioni di assunzione su candidati fittizi provenienti da gruppi demografici inventati chiamati Tufa, Aima, Reku e Weki. Dopo diversi round di decisioni, i modelli di IA hanno fatto supposizioni sui candidati che non avevano nulla a che fare con le loro qualifiche, stereotipandoli di fatto. Se un Tufa era un buon medico, allora i candidati Tufa avevano più probabilità di essere scelti come medici, mentre i candidati Weki avevano più probabilità di essere assunti come custodi.
Lo studio ha trovato più pregiudizi nell'IA che nelle decisioni di assunzione umane che Bai ha esaminato l'anno scorso. Ha anche scoperto che i modelli più nuovi e avanzati producevano decisioni di assunzione con ancora più pregiudizi.
"Siamo rimasti piuttosto scioccati nel vedere questo risultato", ha detto Bai. I modelli di IA sono molto bravi a risolvere problemi con una sola risposta corretta, come la matematica o la programmazione. "Ma stanno peggiorando nell'esplorare altre opzioni", ha detto Bai. "Nelle assunzioni, l'esplorazione è molto importante, ma questi modelli non sono addestrati a farlo".
L'impatto del pregiudizio dell'IA su un candidato può andare oltre una singola posizione lavorativa. Se un lavoratore viene rifiutato da una persona, può riprovare presso un'altra azienda con un diverso responsabile delle assunzioni. Ma se un lavoratore viene rifiutato da un sistema algoritmico utilizzato in molte aziende, il sistema "ricorda la decisione già presa e la ripete per efficienza", ha detto Ajunwa. "In realtà, sei stato messo in lista nera algoritmicamente".
Poiché molte aziende utilizzano software di assunzione costruiti sugli stessi modelli di IA di base, c'è la preoccupazione che un'etichetta negativa possa rendere molto più difficile per un candidato ottenere qualsiasi lavoro, ha detto Katie Creel, co-autrice di uno studio recente sui rischi della "monocoltura algoritmica" nei sistemi di assunzione. "Le persone saranno escluse dai lavori più di quanto non sarebbero state altrimenti", ha detto.
Eightfold AI non ha commentato la questione.
L'IA può essere utilizzata in modo responsabile nelle assunzioni?
Sebbene gli strumenti di IA possano far risparmiare tempo o aiutare a testare le competenze dei candidati, i responsabili delle assunzioni non dovrebbero lasciare che l'IA prenda decisioni, ha detto Iman Abuzeid, CEO di Incredible Health, una piattaforma di assunzione basata sull'IA utilizzata da oltre 1.500 datori di lavoro nel settore sanitario. Incredible Health offre un agente di IA per condurre colloqui telefonici, ma l'IA non rifiuta, valuta, classifica o decide automaticamente chi va avanti, secondo Abuzeid.
"Si tratta di raccogliere informazioni dai candidati così che un umano sia meglio equipaggiato per prendere la decisione", ha detto Abuzeid.
Abuzeid ha anche notato che circa il 10% dei colloqui con l'IA di Incredible Health viene sottoposto a verifica per pregiudizi da parte di un umano, un processo che sta diventando un requisito legale in più città e stati.
A New York City, una legge entrata in vigore nel 2023 richiede ai datori di lavoro che utilizzano sistemi automatizzati nelle assunzioni di condurre verifiche annuali sui pregiudizi e notificare in anticipo i candidati sull'uso della tecnologia. Tuttavia, la legge si applica solo a software che "sostanzialmente" assiste o sostituisce il processo decisionale umano, creando una scappatoia per i casi in cui gli umani sono coinvolti nel processo. Leggi recenti in Illinois e Colorado vietano anche ai datori di lavoro di utilizzare strumenti di IA che portano a discriminazioni illegali.
Sempre più spesso, le normative cittadine e statali mirano a rendere un requisito di base notificare ai candidati quando viene utilizzata l'IA. Ma idealmente, i candidati dovrebbero avere visibilità su cosa dicono i loro profili algoritmici, secondo Jenny Yang, partner presso Outten & Golden, lo studio legale che rappresenta i querelanti nella causa contro Eightfold AI.
"Questa trasparenza iniziale aiuta a identificare meglio dove potrebbero esistere problemi", ha detto Yang, riferendosi alle notifiche sull'uso dell'IA. "C'è una crescente preoccupazione tra i lavoratori che potrebbero essere privati di opportunità per ragioni che nessuno comprende".
Domande Frequenti
Ecco un elenco di FAQ che affrontano l'intersezione tra lo spostamento di posti di lavoro da parte dell'IA e le sfide legali che affrontano gli strumenti di assunzione automatizzati
Domande Generali Il Quadro Generale
1 L'IA mi ruberà davvero il lavoro
Risposta È improbabile che elimini completamente la maggior parte dei lavori, ma sicuramente li cambierà L'IA è bravissima ad automatizzare compiti ripetitivi Invece di sostituirti del tutto, probabilmente assumerà quei compiti specifici, permettendoti di concentrarti su lavoro che richiede giudizio umano, creatività e intelligenza emotiva Pensala come uno strumento, non come un sostituto
2 Le cause sugli strumenti di assunzione basati sull'IA riguardano davvero la perdita di posti di lavoro
Risposta No Le cause riguardano l'equità Sostengono che il software di IA utilizzato per scremare i curriculum e intervistare i candidati è di parte contro persone di colore, donne e lavoratori più anziani Le cause sostengono che questi strumenti sono scatole nere che prendono decisioni che nemmeno i datori di lavoro comprendono appieno, il che viola le leggi sui diritti civili
3 Cosa significa mancanza di trasparenza in un contesto di assunzione basato sull'IA
Risposta Significa che quando un'IA rifiuta un candidato, né il candidato né il datore di lavoro possono spiegare chiaramente il perché L'IA utilizza algoritmi complessi con migliaia di punti dati Se il software dà un punteggio basso, nessuno può indicare una ragione specifica come "ti mancavano 5 anni di esperienza" Questo rende quasi impossibile dimostrare la discriminazione o correggere un processo di assunzione difettoso
Domande per Principianti
4 Come stanno usando le aziende l'IA per assumere in questo momento
Risposta In alcuni modi 1 Screening dei curriculum il software scansiona il tuo curriculum per parole chiave e lo classifica rispetto ad altri 2 Chatbot ti fanno domande preliminari 3 Colloqui video l'IA analizza le tue espressioni facciali, il tono di voce e la scelta delle parole per valutare la tua aderenza culturale o l'entusiasmo
5 Se vengo rifiutato da un robot, è illegale
Risposta Non automaticamente È illegale se l'IA ti sta discriminando in base a caratteristiche protette come razza, genere, età o disabilità Se semplicemente non sei qualificato per il lavoro, è legale Le cause sostengono che l'IA sta penalizzando ingiustamente le persone in base a queste caratteristiche protette, ed è lì che iniziano i problemi legali
