Diskriminierung 2.0: Wie Rassismus in Algorithmen weiterlebt

Bewerbungsverfahren sind und waren schon immer geprägt von ungleichen Chancen. Heute setzen Unternehmen häufig algorithmische Systeme ein, um Bewerbungen zu scannen, zu sortieren und geeignete Kandidat*innen zu empfehlen. Auch wenn sich HR-Abteilungen von grossen Firmen mit sogenannten «Applicant Tracking Systemen» (ATS) eine Effizienzsteigerung versprechen: Durch den Einsatz solcher Systeme können diskriminierende Muster verschärft werden oder gar neue entstehen. Hiervon sind häufig Menschen mit Migrationshintergrund betroffen.

Beispiel 1: Algorithmus bevorzugt «einheimische» Lebensläufe

In einem kürzlich in Grossbritannien durchgeführten Experiment wurde verglichen, welche Lebensläufe eine professionelle HR-Person auswählt, und welche von einem algorithmischen Empfehlungssystem als kompetente Bewerber*innen auserkoren wurden. Der Vergleich zeigte: Personen, die von Personaler*innen als Top-Kandidat*innen gelistet wurden, wählte das algorithmische System teilweise nicht einmal in die engere Auswahl. Dies liegt auch daran, dass algorithmische Systeme nicht alle Formate gleich gut lesen können – kompetente Bewerbungen, die nicht im passenden Format erstellt wurden, werden somit automatisch aussortiert. Allerdings konnten in einem weiteren Experiment auch klare Unterschiede in der Bewertung der Lebensläufe festgestellt werden. So zeigte sich, dass ein anderes System «einheimischen», in diesem Falle also britischen Bewerbungen eine höhere Punktzahl zuwies als internationalen Lebensläufen. Britische Bewerber*innen hatten somit gegenüber Migrant*innen und anderen Nicht-Einheimischen einen Vorteil auf einen höheren Platz im Ranking.

Beispiel 2: Schlechteres Ranking bei Ausbildung im Ausland

In der Regel werden automatisierte Recruiting-Systeme so trainiert, dass Faktoren wie Herkunftsland, Lebensalter oder Geschlecht für die Auswahl nicht beachtet werden sollten. Das Problem: Es gibt auch subtilere Attribute in Bewerbungen, sogenannte «Proxies» (deutsch: Stellvertretervariablen), die auf diese demografischen Eigenschaften hinweisen können, wie etwa die Sprachkompetenz, ausländische Arbeitserfahrung oder ein Studium im Ausland. So hat dieselbe Studie aufgedeckt, dass ein Auslandstudium bei 80% der Bewerber*innen dazu führte, dass sie mit weniger Punkten bewertet wurden. Letztlich kann dies dazu führen, dass Bewerber*innen, die nicht in dem Land aufgewachsen sind und studiert haben, in dem die Stelle ausgeschrieben ist, ungerecht behandelt werden.

Viele der von Unternehmen angewendeten algorithmischen Rekrutierungssysteme sind hinsichtlich ihrer Auswahlkriterien oftmals völlig intransparent. Ebenso basieren die verwendeten Datensätze, mit denen selbstlernende Algorithmen trainiert werden, meistens auf historischen Daten. Wenn nun etwa ein Unternehmen bisher vorwiegend weisse Männer im Alter zwischen 25 und 30 Jahren eingestellt hat, kann es sein, dass der Algorithmus darauf basierend ‘lernt’, dass auch für neu zu besetzende Stellen solche Profile bevorzugt werden sollen. Diese Stereotypen und Diskriminierungsmuster entstehen nicht im Algorithmus, sondern sind tiefer in den Strukturen unserer Gesellschaft verankert. Sie können aber vom Algorithmus wiederholt, übernommen und somit verstärkt werden.

Die Beispiele verdeutlichen, wie Menschen aufgrund ihrer Herkunft systematisch durch Algorithmen diskriminiert werden können. Auch in der Schweiz verwenden immer mehr Unternehmen algorithmische Systeme in Bewerbungsverfahren und am Arbeitsplatz.

Algorithmische Diskriminierung in der Schweiz: Der bestehende Diskriminierungsschutz in der Schweiz bietet keinen wirksamen Schutz vor Diskriminierung durch algorithmische Systeme und muss verstärkt werden. In diesem Positionspapier schildern wir die Herausforderungen, die algorithmische Diskriminierung mit sich bringt, und beschreiben, wie der Diskriminierungsschutz verbessert werden kann.

Algorithmische Systeme diskriminieren darüber hinaus viele weitere Bevölkerungsgruppen. In der Serie «Diskriminierung 2.0: Wie Algorithmen diskriminieren» beleuchten AlgorithmWatch CH und humanrights.ch zusammen mit weiteren Organisationen deshalb unterschiedlichste Fälle von algorithmischer Diskriminierung.

Um diese systematischen Ungerechtigkeiten auf die politische Agenda zu bekommen, brauchen wir deine Unterstützung! Abonniere jetzt die Newsletter deiner Wahl:

AlgorithmWatch CH ist eine Menschenrechtsorganisation, die sich dafür einsetzt, dass Algorithmen und Künstliche Intelligenz (KI) Gerechtigkeit, Demokratie und Nachhaltigkeit stärken, statt sie zu schwächen. Abonniere hier die AlgorithmNews CH.

humanrights.ch informiert, berät und stärkt diejenigen, die sich für ihre eigenen Menschenrechte und für die Menschenrechte anderer einsetzen – in der Öffentlichkeit, in der Politik, in der Justiz, in Organisationen und Bewegungen, in der Bildung. Abonniere hier die Newsletter von humanrights.ch.

Das National Coalition Building Institute NCBI ist ein konfessionell und parteipolitisch neutraler Verein. NCBI setzt sich ein für den Abbau von Vorurteilen, von Rassismus und Diskriminierung jeglicher Art sowie für Gewaltprävention und konstruktive Konfliktlösung.

Willst du uns helfen, Diskriminierung in Bewerbungsverfahren zu bekämpfen?
Dann spende jetzt deinen Lebenslauf! Im Rahmen des von Horizon Europe finanzierten Projekts FINDHR werden Tools und Ansätze entwickelt, wie algorithmische Diskriminierung im Recruiting reduziert werden kann. Mittels einer weltweiten CV-Spende-Kampagne werden unter anderem synthetische Datensätze entwickelt, um dies zu untersuchen. Dafür brauchen wir deine Hilfe und möglichst viele unterschiedliche Lebensläufe! Spende hier deinen Lebenslauf auf Englisch und hilf uns, die Jobvergabe fairer zu gestalten.