05.02.2024
Algorithmische und KI-basierte Systeme werden sowohl von Behörden als auch von Unternehmen immer häufiger eingesetzt – unter anderem auch, um Prognosen zu erstellen, Empfehlungen zu geben oder Entscheide zu fällen. Ihr Einsatz kann allerdings zu Diskriminierungen führen. Das heutige Diskriminierungsverbot in der Schweiz reicht nicht aus und muss verbessert werden, um vor algorithmischen Diskriminierungen zu schützen. Dieses Anliegen findet nun auch in der Politik Gehör.
Gastartikel von Estelle Pannatier, AlgorithmWatch CH
Oft sind wir uns nicht bewusst, dass sogenannte Künstliche Intelligenz und algorithmische Systeme in verschiedensten Bereichen wichtige Entscheidungen für und über uns treffen. Sie sollen unsere Stellenbewerbungen aussortieren, Steuererklärungen automatisch bearbeiten, Krankheiten mittels KI diagnostizieren, Verbrechen vorhersagen, das Rückfallrisiko von Straftäter*innen bewerten oder die Arbeitsmarktintegrationschancen von Geflüchteten vorhersagen. Wenn solche Systeme eingesetzt werden, kann das allerdings zu Diskriminierungen führen und bestehende Diskriminierungsmuster verstärken.
Wie können Algorithmen diskriminieren?
Algorithmen sind weder neutral noch objektiv. Sie werden von Menschen gemacht, die dabei bestimmte Annahmen treffen, gewisse Interessen und Ziele verfolgen. Wenn nicht aktiv etwas dagegen unternommen wird, können sich die in einer Gesellschaft bereits existierenden strukturellen Diskriminierungsmuster so im Output der Algorithmen widerspiegeln. Die Ursachen für diese Diskriminierungen können sowohl in den verwendeten Daten (fehlende Repräsentativität, veraltete Daten, unzureichende Datenaufbereitung), im Algorithmus selbst (welche Parameter werden im Modell berücksichtigt, welche nicht) als auch in der Art und Weise, wie er verwendet wird (welchen Bedarf soll das System decken und wie wird es in der Praxis angewendet), liegen. Diskriminierungen können dabei in den verschiedensten Anwendungsbereichen stattfinden und alle Gruppen betreffen – jene, die durch das bestehende Diskriminierungsverbot (Art. 8 BV Abst. 2) geschützt sind sowie andere, die dies nicht sind, weil das Merkmal, aufgrund dessen die Mitglieder der Gruppe diskriminiert werden, nicht in Art. 8 BV aufgeführt ist (z.B. Gewicht, Rechtsstatus).
Ein besonders bekanntes Beispiel ist der «Kindergeldskandal»: In den Niederlanden wurde im Jahr 2019 bekannt, dass die Steuerbehörden einen selbstlernenden Algorithmus zur Erstellung von Risikoprofilen verwendet hatten, um einen möglichen Betrug beim Bezug von Kindergeld zu erkennen. Infolgedessen bestraften die Behörden Familien aufgrund des blossen Verdachts auf Betrug. Die Folgen: Zehntausende von Familien – mit geringem Einkommen oder mit Migrationshintergrund – wurden fälschlicherweise aufgefordert, über Jahre erhaltene Kindergelder zurückzuzahlen. Die dadurch entstandenen massiven Schulden trieben einen Grossteil von ihnen in die Armut, mehr als eintausend Kinder wurden in Pflegefamilien untergebracht. Die Datenschutzbehörde kam zum Schluss, dass die Verarbeitung der Daten durch das eingesetzte System diskriminierend war.
Welche Lücken gibt es im Diskriminierungsschutz?
Der bestehende Diskriminierungsschutz in der Schweiz bietet keinen wirksamen Schutz vor Diskriminierung durch algorithmische Systeme. Dies ist unter anderem darauf zurückzuführen, dass Diskriminierung durch Algorithmen:
- für Betroffene oft schwer erkennbar ist,
- systemische Wirkungen haben kann (da die Diskriminierung oft im System selbst verankert ist und dadurch eine potenziell grosse Anzahl Menschen betreffen kann) und
- sich oft aus sogenannten Proxy-Variablen ergibt, indem aus bekannten Merkmalen der Person, wie etwa der Postleitzahl des Wohnortes, systematisch und automatisiert Rückschlüsse auf den sozioökonomischen Status und den Migrationshintergrund abgeleitet werden.
Angesichts dieser Herausforderungen weist der aktuelle gesetzliche Schutz vor Diskriminierung in der Schweiz drei Hauptlücken auf:
- Das Diskriminierungsverbot bezieht sich grundsätzlich nur auf staatliche Akteure, ein allgemeines Diskriminierungsverbot für Private fehlt in der Schweiz. Algorithmische Systeme werden jedoch insbesondere von privaten Unternehmen in grosser Zahl entwickelt und eingesetzt.
- Der bestehende gesetzliche Rahmen reicht nicht aus, um den besonderen Eigenschaften der algorithmischen Diskriminierung zu begegnen (beispielsweise wird die Tatsache, dass die Diskriminierung oft aus der Kombination von mehreren geschützten Merkmalen entsteht, nicht berücksichtigt).
- Für einen effektiven Schutz vor Diskriminierung fehlen wirksame Rechtsmittel, wie etwa ein kollektives Klagerecht. Denn hinsichtlich algorithmischer Diskriminierung ist die Durchsetzung durch Einzelpersonen besonders herausfordernd, da Betroffene schwer zu identifizieren sind und oft nicht über die notwendige Zeit und Mittel verfügen, um Rechtsmittel zu ergreifen.
Was macht die Politik?
Im November 2023 informierte der Bundesrat in seiner Antwort zur Interpellation von Min Li Marti, dass er im Rahmen der bereits geplanten Analyse des Regulierungsbedarfs von Künstlicher Intelligenz bis Ende 2024 auch algorithmische Diskriminierung berücksichtigen wird. Es bleibt jedoch abzuwarten, ob und welche Lösungen vorgeschlagen werden, um den Schutz vor Diskriminierung durch Algorithmen zu stärken.
Der Diskriminierungsschutz in der Schweiz muss gestärkt werden, um uns gegen algorithmische Diskriminierung effektiv zu schützen. Diskriminierung durch privaten Akteur*innen muss verboten werden, der Diskriminierungsschutz ist auszuweiten u.a. um weitere Gruppen mit Diskriminierungsrisiko zu schützen und wirksame gesetzliche Druchsetzungsmechanismen müssen implementiert werden.
Die Herausforderungen der algorithmischen Diskriminierung und was AlgorithmWatch CH fordert, um den Diskriminierungsschutz zu verbessern, sind in einem Positionspapier zusammengefasst.
