Diskriminierung 2.0: Wie Algorithmen das Leben von Menschen in Armut erschweren

Der Einsatz von Algorithmen und KI-Systemen könnte ein wichtiges Werkzeug sein, um zum Abbau von Ungleichheiten beizutragen. Doch die Realität sieht manchmal anders aus. KI-Systeme können auch dazu führen, dass Menschen mit wenig Einkommen stärker überwacht und kontrolliert werden oder beim Zugang zu Sozialleistungen und Bildung benachteiligt werden. Drei Beispiele.

Beispiel 1: Sozialleistungen verweigert – wegen Armut

Algorithmische Systeme werden oft eingesetzt, um Kontrolle über Personen auszuüben, zum Beispiel um vermeintlichen Sozialleistungsbetrug aufzudecken. In Frankreich etwa vergibt ein Algorithmus einen Risikoscore mit dem Ziel, Betrugsversuche beim Familienbeihilfefonds aufzudecken. Der Score basiert auf Kriterien wie geringes Einkommen, Arbeitslosigkeit, Wohnsitz in einem «benachteiligten» Viertel oder der Tatsache, dass die betreffende Person einen erheblichen Teil des Einkommens für ihre Miete ausgibt.

In den Niederlanden wurde ebenfalls ein System eingesetzt, um Sozialhilfebetrug aufzudecken. Resultat: Der Einsatz des SyRi-Systems (System Risk Indication) hat zu Diskriminierungen aufgrund des Einkommens und der ethnischen Herkunft geführt, bevor er durch ein Gerichtsurteil im Jahr 2020 gestoppt wurde. Generell lässt sich feststellen, dass der Zugang zu Sozialleistungen zunehmend automatisiert wird, ohne dass dabei die Bedürfnisse der Betroffenen berücksichtigt werden. Auch wissen Betroffene oft nicht, dass über sie und ihre Lebenssituation mithilfe eines automatisierten Systems entschieden wird. Wenn doch, verfügen sie meist nicht über die notwendigen Ressourcen, um dies einzuordnen und sich gegebenenfalls dagegen zu wehren. Wo früher eine Person einer Behörde Prozesse individuell begleitete, werden die Empfänger*innen immer mehr mit Maschinen konfrontiert, die der Komplexität der Einzelfälle nicht immer gerecht werden können. Algorithmische Systeme können aber auch in der Forschung und für Analyse eingesetzt werden: so führt etwa das schweizerische Bundesamt für Statistik ein Projekt, das darauf abzielt, mithilfe von Algorithmen typische Verläufe im System der sozialen Sicherheit und im Arbeitsleben zu identifizieren.

Beispiel 2: Schubladisierung statt sozialer Aufstieg

Auch beim Zugang zu Bildung können Personen mit sozial benachteiligtem Hintergrund durch den Einsatz von algorithmischen Systeme diskriminiert werden. Das kann strukturelle Ungleichheiten verstärken. Beispiel: In Grossbritannien fielen während der Covid-19-Pandemie die Prüfungen aus. Deren Resultate bestimmen, wer Zugang zu Universitäten bekommt. Stattdessen liess die britische Regierung dieResultate anhand eines Algorithmus berechnen. Das System bediente sich dabei an vergangenen Prüfungsresultaten der Schulen. Dies führte dazu, dass viele überdurchschnittlich gute Schüler*innen aus schlechteren Schulen zu tiefe Noten erhielten, während mittelmässige Schüler*innen aus besseren Schulen (insbesondere Privatschulen) tendenziell bessere Noten erhielten. Der Algorithmus benachteiligte Schüler*innen aus einkommensschwachen Schichten.

Algorithmen können aber auch mit der Absicht eingesetzt werden, die Chancengerechtigkeit zu stärken. Dies ist beispielsweise in Uster der Fall, wo seit 2023 ein Algorithmus verwendet wird, um die soziale Durchmischung von Schulklassen zu optimieren und so für alle Schüler*innen einen Mehrwert zu ermöglichen. Damit algorithmische Systeme zum Abbau von Ungleichheiten beitragen können, müssen sie jedoch ganz gezielt zu diesem Zweck konzipiert, getestet und eingesetzt werden.

Beispiel 3: KI-Jagd nach Obdachlosen

In den USA haben die Behörden von San José, eine Stadt im Herzen des Silicon Valley, eine Künstliche Intelligenz darauf trainiert, Zelte und Autos zu erkennen, in denen obdachlose Menschen leben. Nach Ansicht von Expert*innen handelt es sich dabei um den ersten Einsatz dieser Art in den Vereinigten Staaten. Örtliche Sozialarbeiter*innen befürchten, dass die Technologie zur Bestrafung und Vertreibung von Menschen ohne festen Wohnsitz in San José eingesetzt wird.

Eine kalifornische Stadt trainiert KI zur Erkennung von Obdachlosen. (Screenshot: The Guardian)

Die Beispiele verdeutlichen, wie der Einsatz von Algorithmen und KI oft bestehende gesellschaftliche Ungerechtigkeiten übernehmen, vervielfachen und verfestigen kann. Neben Menschen in Armut kann der Einsatz solcher Systeme viele weitere Bevölkerungsgruppen diskriminieren. In der Serie «Diskriminierung 2.0: Wie Algorithmen Menschen diskriminieren» beleuchten AlgorithmWatch CH und humanrights.ch zusammen mit weiteren Organisationen deshalb unterschiedlichste Fälle von algorithmischer Diskriminierung.

Algorithmische Diskriminierung in der Schweiz: Der bestehende Diskriminierungsschutz in der Schweiz bietet keinen wirksamen Schutz vor Diskriminierung durch algorithmische Systeme und muss verstärkt werden. In diesem Positionspapier schildern wir die Herausforderungen, die algorithmische Diskriminierung mit sich bringt, und beschreiben, wie der Diskriminierungsschutz verbessert werden kann.

Um diese Risiken für systematische Ungerechtigkeiten auf die politische Agenda zu bekommen, brauchen wir deine Unterstützung! Abonniere jetzt die Newsletter deiner Wahl:

AlgorithmWatch CH ist eine gemeinnützige Nichtregierungsorganisation. Wir setzen uns dafür ein, dass Algorithmen und Künstliche Intelligenz (KI) Gerechtigkeit, Demokratie, Menschenrechte und Nachhaltigkeit stärken, statt sie zu schwächen. Abonniere hier die AlgorithmNews CH.

humanrights.ch informiert, berät und stärkt diejenigen, die sich für ihre eigenen Menschenrechte und für die Menschenrechte anderer einsetzen – in der Öffentlichkeit, in der Politik, in der Justiz, in Organisationen und Bewegungen, in der Bildung. Abonniere hier die Newsletter von humanrights.ch.