#61 ChatGPT in het selectieproces: zegen of vloek?
#61 ChatGPT in het selectieproces: zegen of vloek?Een gesimuleerde cv-screeningtaak toont aan dat ChatGPT discrimineert op basis van etnische identiteit tijdens het evalueren van sollicitanten. Het toont aan dat we beter voorzichtig omgaan met artificiële intelligentie in selectieprocessen.
#61 ChatGPT in het selectieproces: zegen of vloek?
Postdoctoraal onderzoeker Louis Lippens
(29 oktober 2023) ChatGPT en aanverwante artificiële intelligentie lijken een grote impact te zullen hebben op de arbeidsmarkt door het efficiënter maken van organisatieprocessen, zoals personeelsselectie. Tegelijkertijd kan het ook discriminatie in deze processen introduceren en versterken. Een gesimuleerde cv-screeningtaak met ChatGPT laat zien dat de chatbot discrimineert op basis van etnische identiteit tijdens het evalueren van sollicitanten. Het experiment toont aan dat we beter voorzichtig omgaan met ChatGPT-achtige artificiële intelligentie in selectieprocessen.
De kans bestaat dat je ChatGPT al eens hebt gebruikt – of het nu was om ideeën op te doen voor een verjaardagscadeau, om een bedrijfsrapport samen te vatten of een interactie van een totaal andere orde – is groot. De chatbot biedt een toegankelijk conversatiemodel dat tekst- en zelfs beeldreacties kan genereren op basis van tekstuele input van gebruikers, waardoor een chatervaring ontstaat die bijna menselijk aanvoelt. Op het eerste gezicht niets dan voordelen, of vereisen sommige interacties met de chatbot toch een kanttekening?
De impact van ChatGPT
ChatGPT-achtige artificiële intelligentie heeft een enorme potentiële impact op de arbeidsmarkt. Eerste schattingen op basis van Amerikaans onderzoek geven aan dat minstens vier vijfden van de beroepsbevolking gevolgen zal ondervinden van de introductie van grote taalmodellen zoals ChatGPT. Eén vijfde van de beroepsbevolking zou zelfs een impact kunnen merken op minstens de helft van hun dagdagelijkse professionele taken. Volgens nog ander Amerikaans onderzoek staan HR-specialisten, waaronder recruiters, met een plaats in de top-5% opmerkelijk hoog gerangschikt in het lijstje van beroepen met een verhoogde blootstelling. ChatGPT kan hen in het bijzonder helpen om het personeelselectieproces te stroomlijnen door automatisaties in te bouwen die een hoop werktijd kunnen uitsparen, zoals het in bulk screenen van binnenkomende cv’s.
Het is echter niet helemaal duidelijk of ChatGPT en soortgelijke taalmodellen het personeelsselectieproces naast automatiseren ook kunnen helpen objectiveren. Het cv-screeningproces is sterk onderhevig aan discriminatie, zo gaf een recente meta-analyse naar aanwervingsdiscriminatie wereldwijd aan. Recent Italiaans onderzoek illustreerde dat geautomatiseerde cv-screening door artificiële intelligentie genderdiscriminatie tegenover vrouwen met bijna twee derden verminderde ten opzichte van handmatige cv-screening door recruiters. Daarentegen weten we uit ander onderzoek dat artificiële intelligentie net bestaande discriminatie kan versterken, doordat het getraind is op data waarin discriminatie en vooroordelen aanwezig zijn. De trainingsdata omvatten namelijk een brede waaier aan tekstuele gegevens, onder andere uit boeken, nieuwsartikels en websites, en vormen daardoor een afspiegeling van wat leeft in een samenleving. Specifieke bronnen van discriminatie zoals haatdragende taal in forumberichten of negatieve stereotypen in bestaande online vacatureteksten kunnen ChatGPT dan ook aanzetten tot discriminatoire output.
Discriminatie identificeren
Om systemische discriminatie door ChatGPT in cv-screening te identificeren, gebruikte ik een gelijkaardig experimenteel onderzoeksopzet als in de praktijktesten naar aanwervingsdiscriminatie bij recruiters. Het opzet bestond uit het gelijktijdig aanbieden aan ChatGPT van zowel Nederlandstalige vacatureteksten als cv’s van fictieve kandidaten samen met de vraag ‘Hoe waarschijnlijk is het dat je de kandidaat zou uitnodigen voor een jobgesprek?’. De kandidaten verschilden enkel op basis van voor- en achternaam die een specifieke etnische identiteit en gender signaleerden. Andere typische cv-categorieën zoals talenkennis, nationaliteit of woonplaats bleven gelijk over de fictieve kandidaten heen. Het experiment werd 34.560 keer herhaald met verschillende vacatures, kandidaatprofielen en -namen.
Vriend of vijand?
De hamvraag is of ChatGPT een vriend of net een vijand is om discriminatie uit het aanwervingsproces te weren. Het antwoord is – zoals zo vaak – tweeledig. Enerzijds komt een duidelijke raciale of etnische bias naar bovendrijven. Kandidaten met typisch Aziatische, Afrikaanse en Zwart-Amerikaanse, Arabische, Hispanische, Oost-Europese of Turkse namen zouden zo’n 14% tot 19% minder positieve responses krijgen dan kandidaten met typisch Vlaamse namen als HR professionals zich zouden laten leiden door het advies van ChatGPT. Een kruising tussen gender en etnische identiteit leert bovendien dat vrouwen met Turkse namen in het experiment een bijkomend nadeel ondervinden tegenover mannen met Turkse namen; dit effect werd niet gevonden voor de overige etnische identiteiten.
Anderzijds vond ik geen structurele genderdiscriminatie door ChatGPT en is de etnische discriminatie vaak beperkter dan wat bij menselijke recruiters wordt waargenomen. Met uitzondering van de Hispanische subgroep lijkt ChatGPT consistent minder te discrimineren dan wat we in praktijktesten wereldwijd observeren, waar het gemiddelde percentage minder positieve responses op sollicitaties voor etnische minderheden gauw 30% bedraagt. Ook als ik enkel recente praktijktesten in Vlaanderen beschouw, discrimineert ChatGPT ongeveer evenveel als Vlaamse recruiters wat betreft kandidaten met een Arabische of Turkse naam maar een stuk minder wat betreft kandidaten met een Oost-Europese naam.
Beleidsimplicaties
De auditstudie naar discriminatie door ChatGPT illustreert dat de chatbot en het achterliggende taalmodel geen sluitend antwoord biedt op het vraagstuk rond aanwervingsdiscriminatie. In tegendeel, in sommige gevallen kan ChatGPT-achtige artificiële intelligentie inzetten net bestaande discriminatie versterken. De onlangs aangenomen AI Act door het Europees Parlement is een stap in de goede richting wat betreft transparant gebruik van grote taalmodellen zoals ChatGPT, waarbij er een soort meldingsplicht bestaat wanneer ChatGPT gebruikt wordt in – onder andere – organisatieprocessen. De regelgeving legt bovendien bijkomende restricties op voor de toepassing van deze modellen op vlak van tewerkstelling, zoals automatische categorisatie en selectie van mensen. Zoals nu reeds gebeurt, kunnen modelmakers voor een stuk aan zelfregulatie doen door technieken toe te passen die discriminatie in hun artificiële intelligentietoepassingen reduceert.
Bovenal is het de verantwoordelijkheid van organisaties die dergelijke artificiële intelligentie inzetten in hun organisatieprocessen om te waken over de afruil tussen efficiëntiewinsten en mogelijke nadelige gevolgen, bijvoorbeeld op vlak van diversiteit. Het gebruik van ChatGPT en soortgelijke taalmodellen in hun huidige vorm in beslissingsprocessen die een rechtstreekse impact uitoefenen op mensen, waaronder cv-screening, is in elk geval voer voor verdere discussie.
De inhoud van deze blogpost is gebaseerd op een voorpublicatie.
Door postdoctoraal onderzoeker Louis Lippens (Vakgroep Economie, Louis.Lippens@UGent.be)
