Discrimination 2.0: les algorithmes sont binaires; les personnes non

Vous avez affaire à eux quasiment quotidiennement: les formulaires en ligne qui nous demandent de préciser notre genre et de spécifier d’autres données personnelles. Cependant, en général, seules deux options sont proposées: femme ou homme. En effet, la majorité de ces formulaires sont toujours conçus de manière binaire. Les personnes intersexes, trans et genderfluid sont littéralement exclues par cette collectes de données basée sur cette binarité. La discrimination des membres de la communauté LGBTIQ+ par les algorithmes et l’Intelligence artificielle (IA) peut toutefois prendre une ampleur encore bien plus grande.

Exemple 1: quand mégenrer devient automatique

Tandis que les formulaires ne proposent souvent qu’un choix limité de genres, certains systèmes basés sur une IA déterminent eux-mêmes le genre supposé des utilisateur·trice·x·s; aucune chance donc d’indiquer soi-même son identité de genre. Les systèmes de reconnaissance automatique du genre (automated gender recognition en anglais, ou AGR) utilisent pour ce faire plusieurs données: ils analysent par exemple le menton et les pommettes, la démarche et la taille, le port de maquillage et, s’il est fourni, le nom officiel de la personne. La conception de la plupart des logiciels ainsi utilisés se fonde sur une compréhension binaire, figée et physionomique du genre: aussi bien dans la recherche que dans le développement, ces modèles algorithmiques excluent d’office les personnes trans et mettent ainsi de côté leurs préoccupations, leurs besoins et leurs existences. C’est également la conclusion à laquelle parvient l’étude d’Os Keyes (en anglais), qui critique l’usage d’AGR, notamment pour les scanners corporels des aéroports. Les voyages en avion sont souvent très pénibles et stressants pour les personnes trans et non binaires en partie pour cette raison: à cause de la conception binaire du système de reconnaissance utilisé par les scanners corporels, elles doivent parfois se soumettre à des contrôles supplémentaires, qui peuvent être invasifs et humiliants.

Exemple 2: le «shadow ban» et la censure des contenus LGBTIQ+

La lutte contre la haine, la violence, le harcèlement et la désinformation sur les réseaux sociaux faisant de plus en plus l’objet d’une pression publique et politique, les plateformes ont beaucoup investi dans l’IA et l’apprentissage automatique pour reconnaître et bloquer en masse les contenus «inappropriés». Il est absolument indispensable de prendre des mesures afin que les réseaux sociaux soient un espace sûr pour tout le monde. La modération automatisée des contenus a cependant aussi ses inconvénients: la censure et le bannissement silencieux («shadow ban») limitent souvent de manière insidieuse la visibilité et la portée des publications. Des activistes queers qui créent du contenu sur la sexualité et l’éducation sexuelle rapportent ainsi que Meta, la maison mère d’Instagram, les a notifié·e·x·s que leurs contenus n’étaient pas «recommandables» ou qu’elle avait directement bloqué leurs comptes. L’accès à des contenus semblables adressés à un public majoritairement hétérosexuel reste pourtant illimité. De même, les systèmes algorithmiques de modération de contenu ont manifestement des difficultés à identifier des contextes linguistiques. En 2019, le mouvement SEO Lesbienne a essayé de créer un compte Facebook à son nom. L’algorithme de Facebook l’a d’emblée censuré. Ce n’est qu’après une demande écrite que Facebook a donné son accord et remplacé le substitut provisoire «lezbienne» par «lesbienne». De la même manière, les comptes d’activistes LGBTIQ+ ont parfois été temporairement bloqués, voire totalement désactivés, lorsque leur orientation sexuelle était indiquée sur leur profil. Les systèmes basés sur des IA assimilent en effet les mots-clés «lesbienne» et «gay» à des contenu haineux ou pornographiques qu’ils bloquent sans tenir compte du contexte.

Le fait que des services de modération bloquent des personnes et des contenus queers pour ces raisons obscures constitue une atteinte aux libertés d’opinion et d’information disproportionnée. Une telle modération marginalise la communauté LGBTIQ+ et l’empêche d’être visible dans les discussions publiques, ce qui lui est pourtant essentiel et déjà très difficile.

Discrimination algorithmique en Suisse: le cadre légal de protection contre la discrimination en Suisse ne protège pas suffisamment contre la discrimination par les systèmes algorithmiques et doit être renforcé. Ce papier de position présente les problématiques liées à la discrimination algorithmique et décrit les moyens d’améliorer la protection contre ce type de discrimination.

Ces exemples montrent que dans de nombreux contextes, les algorithmes basés sur la binarité n’apprécient pas la réelle diversité de nos identités de genre. Sans une supervision humaine, les algorithmes utilisés de manière opaque par les réseaux sociaux peuvent discriminer des groupes sociaux entiers, comme la communauté LGBTIQ+. Celle-ci n’est toutefois pas seule à être concernée; les algorithmes discriminent également de nombreux autres groupes. C’est la raison pour laquelle AlgorithmWatch CH et humanrights.ch, en collaboration avec d’autres associations, souhaitent mettent en lumière la diversité des cas de discrimination algorithmique dans la série «Discrimination 2.0: ces algorithmes qui discriminent».

Afin de mettre cet aveuglement systématique, ce manque de transparence, cette injustice à l’agenda politique, nous avons besoin de ton soutien! Abonne-toi maintenant aux newsletters de ton choix :

AlgorithmWatch CH est une organisation de défense des droits humains qui s’engage pour que les algorithmes et l’IA renforcent la justice, la démocratie et la durabilité au lieu de les affaiblir. Abonne-toi ici à la newsletter de AlgorithmNews CH (en allemand).

humanrights.ch informe, conseille et soutient les personnes qui s’engagent pour faire valoir leurs droits humains et pour défendre ceux des autres — dans l’opinion publique, en politique, au sein du système judiciaire, des organisations, des collectifs ou de la formation. Abonne-toi ici à la newsletter de humanrights.ch.

L’Organisation Suisse des Lesbiennes (LOS) est l’association faîtière pour les personnes lesbiennes, bisexuel·le·x·s et les femmes queers. Elle soutient les autres organisations LGBTIQ+ et leurs membres, sensibilise aux enjeux queers, répond aux questions et effectue un travail politique pour améliorer le droit. Abonne-toi ici à la newsletter de LOS.

Pink Cross est l’organisation faîtière des hommes gays et bisexuels en Suisse. Elle représente les intérêts des personnes homosexuelles dans la politique et la société, propose des consultations et met en réseau la communauté LGBTIQ+ en Suisse et à l’international. Inscris-toi ici pour recevoir la newsletter de Pink Cross.

Le Transgender Network Switzerland (TGNS) est l’association suisse par et pour les personnes trans (binaires et non binaires). Elle représente au niveau national les intérêts des personnes trans en politique, auprès des administrations et du grand public et elle répond également à toutes les questions ayant trait aux transidentités. Abonne-toi ici à la newsletter du TGNS.