Discrimination 2.0: Comment l'Intelligence artificielle peut désavantager les enfants

La numérisation peut contribuer de manière importante à améliorer l'égalité des chances dans le domaine de l'éducation. Dans ce contexte, les enfants sont de plus en plus en contact avec des systèmes algorithmiques et d'IA, par des jouets basés sur l'IA, des systèmes d'apprentissage personnalisés ou encore les algorithmes des réseaux sociaux. Ces systèmes peuvent toutefois aussi avoir des effets négatifs: renforcer les inégalités et reproduire des préjugés qui ont des conséquences à long terme sur les perspectives et les conditions de vie des enfants.

Exemple 1: Apprendre avec l'IA

Dans de nombreuses salles de classe, y compris en Suisse, l'IA et les systèmes algorithmiques sont utilisés, par exemple pour l'évaluation des performances, l'apprentissage personnalisé, la surveillance des examens ou l'attribution des classes. De nombreuses écoles utilisent par exemple des «systèmes d'apprentissage adaptatifs», c'est-à-dire des programmes informatiques censés adapter automatiquement les exercices aux performances des élèves. Si ces programmes peuvent offrir un soutien ciblé et contribuer à une plus grande équité des chances, ils peuvent également renforcer les préjugés existants. C'est ce que confirme une étude réalisée par l’Institut néerlandais des droits humains. L'étude indique que les systèmes d'apprentissage par IA peuvent désavantager des élèves alors qu'ils sont censés leur offrir un contenu éducatif personnalisé. Ainsi, les élèves issus de familles à faibles revenus ou les élèves dont les parents ou les grands-parents ont immigré aux Pays-Bas se sont vu proposer des tâches plus simples, indépendamment de leurs performances. L'étude a aussi montré que les systèmes d'apprentissage personnalisés peuvent avoir des difficultés à évaluer correctement le niveau d'un enfant. Cela peut par exemple être le cas lorsqu'un enfant apprend d'une manière différente (par exemple en cas de TDAH, de dyslexie ou d'autisme) ou utilise des mots différents de ceux du groupe de personnes avec lequel le système a été entraîné. Si le développement et les tests de l'IA et des algorithmes ne tiennent pas suffisamment compte des différentes conditions des enfants, ils peuvent renforcer les désavantages existants en les systématisant et en les diffusant, ce qui peut conduire à des discriminations et à creuser l’inégalité des chances.

Exemple 2: Des algorithmes qui évaluent et contrôlent

L'accès à l'enseignement supérieur dépend souvent de l'évaluation des performances des élèves. Celle-ci est de plus en plus souvent assistée, voire effectuée, par des systèmes d'IA qui peuvent parfois mal fonctionner et renforcer les inégalités socio-économiques. Pendant la pandémie de Covid-19 par exemple, les examens dont les résultats déterminent l'accès aux universités ont été annulés en Grande-Bretagne. À la place, le gouvernement britannique a fait calculer les résultats à l'aide d'un algorithme. Le système était fondé sur des résultats d’anciens examens dans les écoles. Par conséquent, de nombreux d’élèves ayant eu des notes supérieures à la moyenne dans des écoles considérées comme moins bonnes obtenaient des notes trop basses, tandis que les élèves venant d’écoles jugées plus prestigieuses, notamment d'écoles privées, avaient tendance à obtenir de meilleures notes. L'algorithme désavantageait donc les élèves provenant de milieux plus modestes.

Dans un nombre croissant d'établissements éducatifs, les examens en ligne sont désormais surveillés par des outils d'intelligence artificielle (Proctoring-Software). Ces outils peuvent désavantager les étudiants·e·x·s en raison de leur couleur de peau ou de leur handicap. L'Institut néerlandais des droits humains a ainsi établi que l'Université libre d'Amsterdam avait discriminé des étudiants·e·x·s en utilisant un logiciel de reconnaissance faciale contre les tentatives de fraude lors des examens. Le système avait en effet signalé de manière disproportionnée les personnes à la peau plus foncée comme susceptibles de frauder. Le handicap de certains·e·x·s étudiants·e·x·s peut aussi suffire à les rendre suspects·e·x·s de fraude lors d’examens. Étant donné qu'un handicap peut affecter la manière dont une personne se déplace, bouge ses yeux ou son curseur, ainsi que son apparence, l’utilisation de logiciels d'examen en ligne comporte le risque que les étudiants·e·x·s en situation de handicap soient considérés·e·x·s comme suspects·e·x·s. Ce type d’erreur peut aggraver l'anxiété et les traumatismes.

En raison de l'absence de règles en matière de transparence, il est actuellement très difficile d’identifier l’utilisation de tels systèmes en Suisse, mais aussi de connaître ses raisons et ses effets. Il n'est toutefois pas exclu que des systèmes algorithmiques et d'IA aient un impact négatif sur la vie des enfants et des jeunes en Suisse. Dans son Atlas de l'automatisation, AlgorithmWatch CH répertorie des exemples de systèmes algorithmiques et d'IA utilisés en Suisse, notamment dans les écoles.

Discrimination algorithmique en Suisse: la protection contre la discrimination actuelle en Suisse n'offre pas de protection efficace contre la discrimination par les algorithmes et l'IA et doit être renforcée. En collaboration avec 45 organisations, AlgorithmWatch CH a lancé un appel au Conseil fédéral. Celui-ci demande que la protection contre la discrimination par les algorithmes et l'IA soit renforcée.

Exemple 3: L'IA pour une meilleure égalité des chances?

En Suisse aussi, des systèmes algorithmiques sont utilisés dans le but de renforcer l’égalité des chances. Depuis 2023, un algorithme est utilisé à Uster (ZH) pour optimiser la mixité sociale des classes et permettre ainsi une plus-value pour tous les élèves. De telles approches peuvent être prometteuses, car les algorithmes sont particulièrement doués pour traiter de nombreuses données et reconnaître les modèles, y compris les modèles de discrimination.

Pour que les systèmes algorithmiques puissent réellement contribuer à réduire les inégalités, il faut premièrement qu'ils soient conçus et utilisés spécifiquement à cette fin et, deuxièmement, qu'ils soient également testés de manière approfondie. Dans l'État du Nevada aux États-Unis, un système basé sur l'IA a été utilisé pour identifier les élèves qui pourraient avoir des difficultés à terminer leur scolarité. Les autorités scolaires espéraient qu'un nouveau système constituerait un pas en avant vers un meilleur encadrement des enfants défavorisés. Le système d'IA a cependant calculé que l'estimation précédente de l'État concernant le nombre d'enfants qui auraient des difficultés à l'école était trop élevée. L'algorithme a réduit le nombre d'élèves concernés à moins de la moitié et a exclu les élèves sans abri du groupe à risque, alors qu’auparavant, tous les élèves du Nevada issus de familles à faibles revenus étaient considérés comme «à risque» de rencontrer des problèmes scolaires et sociaux. L'algorithme a quant à lui placé la barre beaucoup plus haut.

Exemple 4: Quand les enfants apprennent des réseaux sociaux

Selon la dernière étude nationale sur les activités en ligne des jeunes HBSC, plus de 80% des jeunes de 15 ans utilisent chaque jour des plateformes de réseaux sociaux en Suisse, et peuvent y rencontrer des contenus problématiques. Une étude montre ainsi que les algorithmes des médias sociaux renforcent les contenus extrémistes, comme les contributions misogynes. Les idéologies discriminatoires sont ainsi normalisées pour les jeunes. Les algorithmes des médias sociaux peuvent en outre avoir un impact sur la santé mentale et physique des enfants et des jeunes. Aux États-Unis, des parents, des écoles et des autorités ont intenté des actions en justice contre Instagram, Snapchat et d'autres plateformes en raison de l'augmentation des problèmes psychologiques chez les jeunes. Selon la SRF, l'étudiante Alexis Spence a raconté que l'algorithme d'Instagram lui a d'abord montré des publications sur le fitness et les mannequins, qui se sont transformés au fil du temps en contenus sur les troubles alimentaires. En France également, sept familles ont récemment porté plainte contre TikTok après le suicide de deux adolescentes. Actuellement, il n'existe pas de conclusions scientifiques définitives sur la manière dont les médias sociaux affectent la santé mentale des enfants et des jeunes. C'est pourquoi il est essentiel de faire en sorte que davantage de recherches portent sur le sujet, mais aussi de garantir des conditions-cadres (de la sensibilisation et de la prévention des enfants, des jeunes et des parents jusqu'à la réglementation des plateformes) afin d'éviter de telles conséquences tragiques sur la vie des jeunes.

Les enfants et les jeunes sont par ailleurs particulièrement concernés·e·x·s par les contenus néfastes tels que les deep fakes (contenus d'apparence réaliste, mais générés par l'IA, par exemple des photos et des vidéos) et sont souvent moins à même de se défendre contre ceux-ci. En Espagne, un tel cas a fait les gros titres: dans une petite ville espagnole, plusieurs élèves ont utilisé des modèles génératifs pour créer des photos nues manipulées de leurs camarades. Les effets négatifs de ces contenus d'IA s'aggravent notamment lorsque ce sont précisément ces contenus qui sont amplifiés et diffusés en masse par les algorithmes des médias sociaux.

Ces exemples montrent que l'utilisation des algorithmes et de l'IA ne favorise aujourd’hui pas toujours l'équité des chances, mais peut aussi avoir des effets négatifs sur les jeunes et leurs droits. Au-delà des enfants et des jeunes, l'utilisation de tels systèmes peut discriminer de nombreux autres groupes de population. Dans la série «Discrimination 2.0: ces algorithmes qui discriminent», AlgorithmWatch CH et humanrights.ch, en collaboration avec d'autres organisations, mettent en lumière les cas les plus divers de discrimination algorithmique. Pour que les risques de discrimination systématique des enfants et des jeunes par les algorithmes et l'IA soient mis à l’agenda politique, nous avons besoin de ton soutien! Abonne-toi dès maintenant à la newsletter de ton choix:

AlgorithmWatch CH est une organisation non gouvernementale d'utilité publique basée à Zurich et Berlin. Nous nous engageons pour que les algorithmes et l’Intelligence artificielle (IA) renforcent la justice, la démocratie, les droits humains et la durabilité au lieu de les affaiblir. Abonne-toi ici à la newsletter de AlgorithmNews CH.

humanrights.ch informe, conseille et soutient les personnes qui s'engagent pour faire valoir leurs droits humains et pour défendre ceux des autres - dans l'opinion publique, en politique, au sein du système judiciaire, des organisations, des collectifs ou de la formation. Abonne-toi ici à la newsletter de humanrights.ch.

Pro Juventute accompagne depuis plus de 100 ans les parents et soutient les enfants et les jeunes afin que ces derniers puissent devenir des personnes autonomes et responsables. La fondation fournit une aide directe et efficace grâce à un large éventail de services. Plus de 300'000 enfants et jeunes et près de 140'000 parents en Suisse en bénéficient chaque année. Abonne-toi ici à la newsletter de Pro Juventute.

UNICEF Suisse et Liechtenstein s'engage pour que les enfants et les jeunes soient protégés et encouragés à tous les niveaux en Suisse et au Liechtenstein et qu'ils puissent participer. Pour ce faire, nous informons et sensibilisons sur les thèmes des droits de l'enfant, nous nous engageons sur des questions politiques nationales et nous défendons les droits de l'enfant au niveau local. La base de ce travail est la Convention des Nations Unies relative aux droits de l'enfant. Abonne-toi ici à la newsletter d’UNICEF Suisse et Liechtenstein.