08.02.2024
Dans le secteur public comme dans le secteur privé, le recours à des systèmes basés sur des algorithmes ou sur l’intelligence artificielle (IA) est de plus en plus fréquent, notamment pour établir des pronostics, formuler des recommandations ou prendre des décisions. Toutefois, leur utilisation peut entraîner des discriminations. En l’état actuel, le droit suisse en matière d’interdiction de la discrimination est insuffisant et doit être renforcé afin de protéger contre la discrimination algorithmique. Cette problématique se fraie aujourd’hui un chemin sur le plan politique.
Commentaire invité d’Estelle Pannatier, AlgorithmWatch CH
Nous n’avons pas toujours conscience du fait que certaines décisions importantes nous concernant sont prises non pas par des humains, mais par une intelligence artificielle ou par des systèmes algorithmiques. Evaluation de nos candidatures, traitement automatique de nos déclarations d’impôt, diagnostics médicaux au moyen de l’IA, prévention de délits, évaluation des risques de récidive des délinquant·e·x·s, ou estimation des chances d’insertion sur le marché du travail des personnes réfugiées; de nombreux domaines sont concernés L’utilisation de ce genre de système peut toutefois mener à des discriminations et renforcer les mécanismes discriminatoires existants.
Comment les algorithmes peuvent-ils discriminer?
Les algorithmes ne sont ni neutres ni objectifs. Ils sont programmés par des humains qui se basent sur certaines hypothèses, et poursuivent des intérêts et des buts particuliers. Ainsi, à moins d’être activement combattus, les schémas de discrimination structurels existants dans une société se reflètent dans les résultats que livrent les algorithmes. Ces discriminations peuvent provenir des données utilisées (manque de représentativité, données obsolètes, traitement inadéquat des données), de l’algorithme lui-même (modèle excluant certains paramètres importants) ou de la manière dont il est utilisé (besoins à satisfaire, utilisation réelle dans la pratique). Les discriminations algorithmiques peuvent se manifester dans de nombreux domaines et concerner tout groupe de personnes; celles qui sont protégées par l’interdiction de la discrimination (art. 8 al. 2 Cst.) tout comme celles qui sont discriminées en raison d’un élément distinctif qui ne figure pas dans l’art. 8 Cst. (p. ex. le poids ou le statut juridique).
Un cas ayant eu lieu aux Pays-Bas illustre particulièrement bien la problématique de la discrimination algorithmique: en 2019, il a été rendu public que l’administration fiscale néerlandaise avait eu recours à un algorithme fondé sur l’auto-apprentissage pour élaborer des profils de risque afin de détecter les potentielles fraudes aux allocations familiales. Sur la base d’une simple suspicion reposant sur ce système, les autorités ont sanctionné des familles. En conséquence, des dizaines de milliers de familles dont le revenu était modeste ou qui étaient composées de personnes issues de l’immigration ont été contraintes, à tort, de rembourser les allocations familiales qu’elles avaient perçues pendant des années. Les dettes considérables qu’elles ont contractées ont fait basculer un grand nombre d’entre elles dans la pauvreté, et plus d’un millier d’enfants ont été placés en famille d’accueil. L’autorité néerlandaise chargée de la protection des données a conclu que le traitement des données par le système concerné était discriminatoire.
Une législation encore lacunaire
En Suisse, le cadre juridique actuel en matière de protection contre la discrimination ne permet pas de se prémunir efficacement contre la discrimination par les algorithmes. En effet, la discrimination algorithmique:
- est difficile à déceler pour les personnes concernées;
- s’exerce souvent de manière systémique, puisqu’elle est présente au sein même de l’algorithme et peut donc frapper un nombre potentiellement élevé de personnes;
- résulte souvent de variables de substitution – aussi appelées «proxy», c’est-à-dire des caractéristiques connues d’une personne (par exemple le numéro postal de son domicile) qui permettent de déduire de manière systématique et automatisée son niveau socio-économique et son origine (étrangère ou non).
Face à ces défis, la protection garantie par le droit suisse pour contrer ces discriminations fait état de trois lacunes principales:
- L’interdiction de la discrimination s’applique en principe qu’aux entités étatiques en Suisse, l’interdiction générale de la discrimination ne s’applique pas directement aux acteurs privés; or, ce sont en majorité les entreprises privées qui développent et emploient les systèmes algorithmiques.
- Le cadre législatif actuel ne permet pas de couvrir les spécificités de la discrimination algorithmique (il ne prend par exemple pas en compte le fait que ce type de discrimination est souvent le fruit de la combinaison de plusieurs éléments distincts faisant l’objet d’une protection spécifique).
- Pour une protection effective contre les discriminations, des moyens juridiques efficaces tels que l’action collective font encore défaut. Il est difficile d’identifier les personnes concernées par la discrimination algorithmique, qui peinent donc à obtenir justice, également par manque de temps et des moyens nécessaires pour mener une procédure judiciaire.
Des changements en vue sur le plan politique?
À la suite d’une interpellation déposée par la conseillère nationale Min Li Marti (ZH/PS), le Conseil fédéral a indiqué dans un avis de novembre 2023 qu’il avait déjà prévu de procéder d’ici fin 2024 à une analyse qui déterminera s’il est nécessaire de compléter la législation existante en matière d’intelligence artificielle, et qui intégrera la question de la discrimination algorithmique. Il reste toutefois à voir si des solutions seront proposées pour renforcer la protection contre la discrimination par les algorithmes et, le cas échéant, quelles seront ces solutions.
La protection contre la discrimination en Suisse doit être renforcée afin de garantir une véritable protection contre la discrimination par les algorithmes. Pour ce faire, la discrimination exercée par les acteurs privés doit être sanctionnée, la protection contre la discrimination doit être étendue, notamment pour protéger d’autres groupes de personnes exposées au risque d’être discriminées et des mécanismes efficaces d'application de la législation doivent être mis en place.
Les défis que pose la discrimination algorithmique et les revendications d’AlgorithmWatch CH en matière de protection contre la discrimination peuvent être consultés dans notre papier de position.
