Discrimination 2.0: ces algorithmes qui entravent la vie des personnes en situation de pauvreté

L'utilisation d'algorithmes et de systèmes d'IA pourrait être un outil important pour contribuer à réduire les inégalités. Mais la réalité est parfois bien différente. Les systèmes d'IA peuvent également entraîner une surveillance et un contrôle accrus des personnes à faible revenu ou les désavantager dans l'accès aux prestations sociales et à l'éducation. Nous vous présentons trois exemples.

Exemple 1: Des prestations sociales refusées à cause de situations de précarité

Les systèmes algorithmiques sont souvent utilisés pour exercer un contrôle sur les personnes, par exemple pour détecter des fraudes présumées aux prestations sociales. En France, par exemple, un algorithme attribue un score de risque dans le but de détecter les tentatives de fraude aux allocations familiales. Le score est basé sur des critères tels que les faibles revenus, le chômage, le fait d'habiter dans un quartier «défavorisé» ou le fait que la personne concernée consacre une part importante de ses revenus à son loyer.

Aux Pays-Bas, un système a également été utilisé pour détecter les fraudes à l'aide sociale. L'utilisation du système SyRi (System Risk Indication) a entraîné des discriminations fondées sur le revenu et l'origine ethnique, avant d'être stoppée par une décision de justice en 2020. De manière générale, on constate que l'accès aux prestations sociales est de plus en plus automatisé et ne prend pas en compte les besoins des bénéficiaires. Les personnes concernées ne savent par ailleurs souvent pas qu'une décision les concernant est prise à l'aide d'un système automatisé. Si c'est le cas, elles ne disposent généralement pas des ressources nécessaires pour comprendre et, le cas échéant, s'y opposer. Alors que jusque-là, une personne employée par une autorité accompagnait individuellement les processus, les bénéficiaires sont aujourd’hui de plus en plus confronté⸱e⸱x⸱s à des machines qui ne peuvent pas toujours tenir compte de la complexité des cas individuels. Mais les systèmes algorithmiques peuvent également être utilisés dans les domaines de la recherche et de l'analyse: l'Office fédéral de la statistique suisse mène par exemple un projet visant à identifier, à l'aide d'algorithmes, des parcours types dans le système de sécurité sociale et dans la vie professionnelle.

Exemple 2: Cataloguer plutôt que favoriser la mobilité sociale

Les personnes issues de milieux socialement défavorisés peuvent également être discriminées dans l'accès à l'éducation par l'utilisation de systèmes algorithmiques. Les inégalités structurelles peuvent en effet être aggravées. En Grande-Bretagne par exemple, le gouvernement a décidé d’annuler les examens pendant la pandémie de Covid-19; les résultats, qui déterminent l’accès aux universités, ont été calculés à l'aide d'un algorithme. Le système se fondait sur des résultats d'anciens examens passés dans des écoles. Par conséquent, de nombreux élèves ayant eu des notes supérieures à la moyenne dans des écoles considérées comme moins bonnes obtenaient des notes trop basses, tandis que les élèves venant d’écoles jugées plus prestigieuses, notamment d'écoles privées, avaient tendance à obtenir de meilleures notes. L'algorithme désavantageait ainsi les élèves venant de milieux plus modestes.

Mais les algorithmes peuvent aussi être utilisés dans le but dedans l'intention de renforcer l'égalité des chances. C'est par exemple le cas à Uster, où un algorithme est utilisé depuis 2023 pour optimiser la mixité sociale des classes, qui constitue ainsi une plus-value pour l’ensemble des élèves. Pour que les systèmes algorithmiques puissent contribuer à réduire les inégalités, ils doivent toutefois être conçus, testés et utilisés de manière très ciblée à cette fin.

Exemple 3 : Une IA qui traque les personnes sans-abris

Aux États-Unis, les autorités de San José, une ville située au cœur de la Silicon Valley, ont entraîné une intelligence artificielle à reconnaître les tentes et les voitures dans lesquelles vivent des personnes sans-abris. Selon les expert⸱e⸱x⸱s, il s'agit de la première utilisation de ce type aux États-Unis. Sur place, les travailleur⸱euse⸱x⸱s sociaux⸱ales craignent que la technologie soit utilisée pour punir et expulser les personnes sans domicile fixe à San José.

Une ville californienne entraîne l’IA à reconnaître les personnes sans-abris (capture d’écran: The Guardian)

Ces exemples illustrent comment l'utilisation d'algorithmes et de l'IA peut reprendre, multiplier et consolider des injustices sociales souvent existantes. En plus des personnes en situation de pauvreté, de nombreux autres groupes de population peuvent être discriminés par l'utilisation de tels systèmes. Dans la série «Discrimination 2.0: ces algorithmes qui discriminent», AlgorithmWatch CH et humanrights.ch, en collaboration avec d'autres organisations, mettent en lumière les cas les plus divers de discrimination algorithmique.

La protection actuelle contre la discrimination en Suisse n'offre pas une protection efficace contre la discrimination par des systèmes algorithmiques et doit être renforcée. Dans cette prise de position, nous décrivons les défis que pose la discrimination algorithmique et comment la protection contre la discrimination peut être améliorée.

Pour que ces risques d'injustices systématiques soient inscrits à l'agenda politique, nous avons besoin de ton soutien! Abonne-toi dès maintenant aux newsletters de ton choix:

AlgorithmWatch est une organisation non gouvernementale d'utilité publique basée à Zurich et Berlin. Nous nous engageons pour que les algorithmes et l’Intelligence artificielle (IA) renforcent la justice, la démocratie, les droits humains et la durabilité au lieu de les affaiblir. Abonne-toi ici à la newsletter de AlgorithmNews CH.

humanrights.ch informe, conseille et soutient les personnes qui s'engagent pour faire valoir leurs droits humains et pour défendre ceux des autres - dans l'opinion publique, en politique, au sein du système judiciaire, des organisations, des collectifs ou de la formation. Abonne-toi ici à la newsletter de humanrights.ch.