Diskriminierung 2.0: Algorithmen sind binär, Menschen nicht

Sie begegnen uns heute fast täglich: Online-Formulare, die uns nach unserem Geschlecht und anderen sensiblen Daten fragen. Auszuwählen gibt es hierbei meist nur zwei Attribute: männlich oder weiblich. Die Mehrzahl dieser Formulare sind noch immer binär gestaltet. Der Ausschluss von intergeschlechtlichen, trans und genderfluiden Personen ist bei einer solch binären Dateneingabe wortwörtlich vorprogrammiert. Die Diskriminierung von Algorithmen und sogenannter Künstlicher Intelligenz gegenüber Mitgliedern der LGBTIQ-Community können aber noch viel weiter gehen.

Beispiel 1: Automatisiertes Misgendering

Während Formulare oftmals nur eine eingeschränkte Gender-Auswahl zur Verfügung stellen, urteilen gewisse KI-Systeme gleich selbst über die vermuteten Gender-Merkmale ihrer Nutzer*innen. Sie lassen Menschen somit nicht einmal die Chance, ihre Geschlechtsidentität selbst zu definieren. Sogenannte «Automated Gender Recognition» Systeme (AGR) nutzen dabei diverse Daten und analysieren beispielsweise Kinnpartie und Wangenknochen, Gangart und Körpergrösse, ob Make-Up getragen wird oder nicht und – falls vorhanden –  den offiziellen Namen der Person. Die meisten der dahinterliegenden Software-Designs gehen von einem binären, unveränderlichen und physiologischen Geschlechter-Verständnis aus: Solche algorithmischen Modelle lassen Transgender-Personen grundlegend ausser Acht und schliessen ihre Anliegen, Bedürfnisse und Existenzen sowohl im Design als auch in der Forschung aus – zu diesem Schluss kommt auch eine Analyse von Os Keyes. Im Einsatz sind sogenannte AGR-Systeme unter anderem in Bodyscannern an Flughäfen. Nicht zuletzt deshalb können Flugreisen für Trans- und nicht binäre Personen häufig sehr belastend und stressig sein: Aufgrund der binären Geschlechtserkennung von Bodyscannern müssen sie manchmal zusätzliche, teils invasive und entwürdigende Kontrollen über sich ergehen lassen.

Beispiel 2: Shadow-Banning und Zensur von LGBTIQ-Inhalten

Mit dem steigenden öffentlichen und politischen Druck, Hass, Gewalt und Hetze sowie Desinformation auf Social Media zu bekämpfen, haben Plattformen viel in den Einsatz von KI und maschinellem Lernen investiert, um «unangemessene» Inhalte weitläufig zu erkennen und zu blockieren. Massnahmen, um Social-Media-Plattformen zu einem sicheren Ort für alle zu machen, sind enorm wichtig und unumgänglich. Die automatisierte Content Moderation bringt aber auch Schattenseiten zutage: Zensur und das sogenannte «Shadow-Banning», welches die Sichtbarkeit und Reichweite von Inhalten oftmals schleichend und unbemerkt einschränkt. So berichten beispielsweise queere Aktivist*innen, die Inhalte über Sexualität und Aufklärung kreieren, dass sie vom Instagram-Mutterkonzern Meta die Meldung erhalten, ihre Inhalte seien «nicht empfehlenswert» oder sie werden gar direkt geblockt. Ähnliche Inhalte für ein mehrheitlich heterosexuelles Publikum bleiben indes uneingeschränkt zugänglich. Ebenso scheinen algorithmische Content-Moderations-Systeme Mühe mit der Einordnung sprachlicher Kontexte zu haben. Im Jahr 2019 hatte die Bewegung «SEO Lesbian» versucht, ein Facebook-Konto mit dem Wort «Lesbe» zu erstellen. Der Facebook-Algorithmus unterband die Verwendung der Bezeichnung von vornherein. Erst nach einer schriftlichen Anfrage genehmigte Facebook den gewünschten Namen der Seite und änderte den zwischenzeitlich verwendeten Begriff «lezbienne» zu «lesbienne». Ebenso wurden Konten von LGBTIQ-Aktivist*innen bisweilen vorübergehend oder gar ganz gesperrt, wenn sie beispielsweise in ihrem Profil ihre sexuelle Orientierung erwähnten. So setzten KI-Systeme Schlüsselwörter wie «Lesbe» oder «Gay» mit hasserfüllten oder pornografischen Inhalten gleich und sperrten sie, ohne ihren Kontext in Betracht zu ziehen.

Wenn queere Menschen und Inhalte aus intransparenten Moderationsgründen blockiert werden, schränkt das die Meinungs- und Informationsfreiheit unverhältnismässig ein. Dies marginalisiert die LGBTIQ-Community und entzieht ihr wichtige Sichtbarkeit im öffentlichen Diskurs, der ohnehin schon hart umkämpft ist.

Algorithmische Diskriminierung in der Schweiz: Der bestehende Diskriminierungsschutz in der Schweiz bietet keinen wirksamen Schutz vor Diskriminierung durch algorithmische Systeme und muss verstärkt werden. In diesem Positionspapier schildern wir die Herausforderungen, die algorithmische Diskriminierung mit sich bringt, und beschreiben, wie der Diskriminierungsschutz verbessert werden kann.

Die Beispiele zeigen: Binäre Algorithmen werden unseren vielseitigen Gender-Realitäten in vielen Kontexten nicht gerecht. Intransparente Social-Media-Algorithmen können ohne menschliche Steuerung zu drastischen Diskriminierungen von gesamten Bevölkerungsgruppen wie etwa der LGBTIQ-Community führen. Algorithmische Systeme diskriminieren darüber hinaus viele weitere Bevölkerungsgruppen. In der Serie «Diskriminierung 2.0: Wie Algorithmen diskriminieren» beleuchten AlgorithmWatch CH und humanrights.ch zusammen mit weiteren Organisationen deshalb unterschiedlichste Fälle von algorithmischer Diskriminierung.

Um diese systematische Blindheit, Intransparenz und vor allem Ungerechtigkeit auf die politische Agenda zu bekommen, brauchen wir deine Unterstützung! Abonniere jetzt die Newsletter deiner Wahl:

AlgorithmWatch CH ist eine Menschenrechtsorganisation, die sich dafür einsetzt, dass Algorithmen und Künstliche Intelligenz (KI) Gerechtigkeit, Demokratie und Nachhaltigkeit stärken, statt sie zu schwächen. Abonniere hier die AlgorithmNews CH.

humanrights.ch informiert, berät und stärkt diejenigen, die sich für ihre eigenen Menschenrechte und für die Menschenrechte anderer einsetzen – in der Öffentlichkeit, in der Politik, in der Justiz, in Organisationen und Bewegungen, in der Bildung. Abonniere hier die Newsletter von humanrights.ch.

Die Lesbenorganisation Schweiz LOS ist der Dachverband für Lesben, Bisexuelle und queere Frauen. LOS unterstützt Mitgruppen und Mitglieder, sensibilisiert die Öffentlichkeit für Anliegen, ist Ansprechpartnerin für Fragen und leistet politische Arbeit für eine rechtliche Besserstellung. Abonniere hier den Newsletter von LOS.

Pink Cross ist die Dachorganisation der schwulen und bisexuellen Männer in der Schweiz. Pink Cross vertritt die Interessen der gleichgeschlechtlichen Liebe in Politik und Gesellschaft, bietet Beratungen an und vernetzt die Schweizer LGBTIQ-Community national und international. Melde dich hier für den Newsletter von Pink Cross an.

Das Transgender Network Switzerland (TGNS) ist die schweizweite Organisation von und für trans Menschen (binär und nicht binär). Der Verein setzt sich für die Interessen von trans Menschen gegenüber Politik, Behörden und Öffentlichkeit ein und ist schweizweiter Ansprechpartner für alle Fragen rund um das Thema Trans. Abonniere hier den Newsletter von TGNS.