Diskriminierung 2.0: So kann Künstliche Intelligenz Kinder benachteiligen

Die Digitalisierung kann einen wichtigen Beitrag dazu leisten, die Chancengerechtigkeit im Bildungsbereich zu erhöhen. Dabei kommen Kinder zunehmend auch mit algorithmischen und KI-Systemen in Berührung – KI-gestützte Spielzeuge, personalisierte Lernsysteme oder Social-Media-Algorithmen. Diese Systeme können jedoch auch negative Auswirkungen haben und unter anderem Ungleichheiten verstärken und Voreingenommenheiten reproduzieren, die langfristige Auswirkungen auf die Zukunftschancen und Lebensumstände von Kindern haben.

Beispiel 1: Lernen mit KI

In vielen Klassenzimmern, unter anderem in der Schweiz, werden KI und algorithmische Systeme eingesetzt, etwa für Leistungsbewertungen, personalisiertes Lernen, Prüfungsaufsicht oder Schulklassenzuweisungen. Viele Schulen verwenden beispielsweise «adaptive Lernsysteme», also Computer-Programme, die Übungen automatisch an die Leistungen der Schüler*innen anpassen sollen. Diese Programme können zwar eine gezielte Unterstützung bieten und zu mehr Chancengerechtigkeit beitragen, sie können aber auch bestehende Vorurteile verstärken. Das bestätigt auch eine Studie des niederländischen Instituts für Menschenrechte. Die Studie weist darauf hin, dass KI-Lernsysteme bestimmte Schüler*innen benachteiligen können, obwohl sie ihnen eigentlich personalisierte Bildungsinhalte bieten sollen: So bekamen Schüler*innen aus einkommensschwachen Familien oder Schüler*innen, deren Eltern oder Grosseltern in die Niederlande eingewandert sind, einfachere Aufgaben – unabhängig von ihren Leistungen. Die Studie zeigte auch, dass personalisierte Lernsysteme Schwierigkeiten haben können, das Niveau eines Kindes richtig einzuschätzen. Dies kann beispielsweise der Fall sein, wenn ein Kind auf eine andere Art und Weise lernt (etwa bei ADHS, Legasthenie oder Autismus) oder andere Wörter verwendet als die Gruppe der Lernenden, auf die das System trainiert ist. Wenn bei der Entwicklung und dem Testen von KI und Algorithmen die unterschiedlichen Voraussetzungen von Kindern nicht gebührend berücksichtigt werden, können sie bestehende Benachteiligungen verstärken, indem sie diese systematisieren und verbreiten. Dies kann zu Diskriminierungen und Chancenungleichheit führen.

Beispiel 2: Von Algorithmen bewertet und überwacht

Der Zugang zu höherer formaler Bildung hängt oft von der Beurteilung der Leistungen der Schüler*innen ab. Immer öfter wird dabei die Leistungsbewertung durch KI-Systeme unterstützt oder gar vorgenommen. Das kann schiefgehen und sozioökonomische Ungleichheiten verfestigen. Zum Beispiel fielen in Grossbritannien während der Covid-19-Pandemie die Prüfungen aus, deren Resultate bestimmen, wer Zugang zu Universitäten erhält. Stattdessen liess die britische Regierung die Resultate anhand eines Algorithmus berechnen. Das System bediente sich an historischen Prüfungsresultaten der Schulen. Das führte dazu, dass viele Schüler*innen mit guten Leistungen aus schlechter gestellten Schulen zu tiefe Noten erhielten. Gleichzeitig erhielten Schüler*innen mit mittelmässigen Leistungen aus privilegierten Schulen (insbesondere Privatschulen) tendenziell bessere Noten. Somit benachteiligte der Algorithmus Schüler*innen aus einkommensschwachen Schichten.

In immer mehr Bildungseinrichtungen werden Online-Prüfungen inzwischen durch KI-Tools (Proctoring-Software) überwacht. Solche Tools können Schüler*innen aufgrund ihrer Hautfarbe oder Behinderung benachteiligen. So hat das niederländische Institut für Menschenrechte festgestellt, dass die Freie Universität Amsterdam Studierende durch den Einsatz einer Gesichtserkennungssoftware gegen Betrugsversuche bei Prüfungen diskriminiert hat. Das System meldete überproportional häufig Menschen mit einer dunkleren Hautfarbe als potenzielle Betrüger*innen. Für Studierende mit einer Behinderung kann allein die Tatsache ihrer Behinderung ausreichen, um bei Prüfungen als betrugsverdächtig eingestuft zu werden. Da sich eine Behinderung auf die Art und Weise auswirken kann, wie eine Person sich, ihre Augen oder ihren Cursor bewegt und wie sie aussieht, besteht bei virtueller Prüfungssoftware ein Risiko, dass Studierende mit einer Behinderung als verdächtig eingestuft werden. Solche Fehler können Ängste und Traumata noch verschlimmern.

Aufgrund fehlender Transparenzregelungen ist es aktuell sehr schwierig herauszufinden, wo, warum und mit welcher Wirkung solche Systeme in der Schweiz eingesetzt werden. Es ist jedoch nicht auszuschliessen, dass sich algorithmische und KI-Systeme negativ auf das Leben von Kindern und Jugendlichen in der Schweiz auswirken. Im Atlas der Automatisierung verzeichnet AlgorithmWatch CH Beispiele von algorithmischen und KI-Systemen, die in der Schweiz verwendet werden, unter anderem auch in Schulen.

Algorithmische Diskriminierung in der Schweiz: Der bestehende Diskriminierungsschutz in der Schweiz bietet keinen wirksamen Schutz vor Diskriminierung durch Algorithmen und KI und muss verstärkt werden. Gemeinsam mit 45 Organisationen hat AlgorithmWatch CH einen Appell an den Bundesrat lanciert. Dieser fordert, dass der Schutz gegen Diskriminierung durch Algorithmen und KI verstärkt werden muss.

Beispiel 3: KI für mehr Chancengerechtigkeit?

Auch in der Schweiz werden algorithmische Systeme mit der Absicht, die Chancengerechtigkeit zu stärken, eingesetzt. Seit 2023 wird in Uster ein Algorithmus verwendet, um die soziale Durchmischung von Schulklassen zu optimieren und so für alle Schüler*innen einen Mehrwert zu ermöglichen. Solche Ansätze können vielversprechend sein, denn Algorithmen sind besonders gut darin, viele Daten zu verarbeiten und Muster zu erkennen – auch Diskriminierungsmuster.
 
Damit algorithmische Systeme tatsächlich zum Abbau von Ungleichheiten beitragen können, müssen sie erstens spezifisch zu diesem Zweck konzipiert und eingesetzt und zweitens auch ausführlich getestet werden. Im US-Bundesstaat Nevada wurde ein KI-basiertes System eingesetzt, um vorherzusagen, welche Schüler*innen Schwierigkeiten haben könnten, ihren Schulabschluss zu machen. Die verantwortlichen Bildungsbehörden hofften, dass ein neues System ein Schritt in Richtung einer besseren Betreuung benachteiligter Kinder sein würde. Das KI-System berechnete allerdings, dass die frühere Schätzung des Bundesstaates über die Anzahl der Kinder, die in der Schule Schwierigkeiten haben würden, zu hoch sei. Der Algorithmus reduzierte die Zahl der betroffenen Schüler*innen dabei auf weniger als die Hälfte und schloss obdachlose Schüler*innen aus der Risikogruppe aus. Zuvor galten in Nevada alle Schüler*innen aus Familien mit niedrigem Einkommen als «gefährdet», akademische und soziale Probleme zu bekommen. Der Algorithmus legte die Messlatte viel höher.

Beispiel 4: Wenn Kinder von Social Media lernen

Gemäss der letzten nationalen Studie zu Online-Aktivitäten von Jugendlichen HBSC nutzen in der Schweiz über 80 Prozent der 15-Jährigen jeden Tag Social-Media-Plattformen. Auf Social Media können ihnen dabei auch problematische Inhalte begegnen. So zeigt eine Studie, dass Social-Media-Algorithmen extremistische Inhalte, wie etwa frauenfeindliche Beiträge, verstärken. Dadurch werden diskriminierende Ideologien für junge Menschen normalisiert. Social-Media-Algorithmen können ausserdem auch Auswirkungen auf die psychische und körperliche Gesundheit von Kindern und Jugendlichen haben. In den USA haben Eltern, Schulen und Behörden wegen steigenden psychischen Problemen von Jugendlichen gegen Instagram, Snapchat und weitere Plattformen gerichtliche Klagen eingereicht. Gemäss SRF berichtete die Studentin Alexis Spence, dass der Instagram-Algorithmus ihr zunächst Inhalte zu Fitness und Models anzeigte, die sich im Laufe der Zeit zu Beiträgen über Essstörungen entwickelten. Alexis fühlte sich zunehmend wertlos und hässlich. Schliesslich musste Alexis in einer psychiatrischen Klinik behandelt werden – magersüchtig und mit Suizidgedanken. Auch in Frankreich haben vor kurzem sieben Familien nach dem Suizid zweier Teenager gegen TikTok geklagt. In der Wissenschaft gibt es derzeit keine abschliessende Evidenz dazu, inwiefern und auf welche Art Social Media die psychische Gesundheit von Kindern und Jugendlichen beeinträchtigen. Deshalb ist zentral, dass mehr Forschung dazu ermöglicht wird – und Rahmenbedingungen (von Sensibilisierung und Prävention der Kinder und Jugendlichen und der Eltern bis zu Regulierungen der Plattformen) sichergestellt werden, um solche Schicksale zu verhindern.

Kinder und Jugendliche sind zudem besonders von schädlichen Inhalten, wie etwa Deep Fakes (realistisch wirkende, aber KI-generierte Inhalte wie Fotos und Videos) betroffen und können sich weniger gut dagegen wehren. In Spanien sorgte ein solcher Fall für Schlagzeilen: In einer spanischen Kleinstadt haben mehrere Schüler*innen generative Modelle verwendet, um manipulierte Nacktbilder ihrer Mitschüler*innen zu erstellen. Die negativen Auswirkungen dieser KI-Inhalte verschärfen sich insbesondere dann, wenn genau solche Inhalte durch die Social-Media-Algorithmen verstärkt und massenhaft verbreitet werden.

Diese Beispiele verdeutlichen, wie der Einsatz von Algorithmen und KI bereits heute nicht immer die Chancengerechtigkeit erhöht, sondern auch negative Auswirkungen auf junge Menschen und ihre Rechte haben kann. Neben Kindern und Jugendlichen kann der Einsatz solcher Systeme viele weitere Bevölkerungsgruppen diskriminieren. In der Serie «Diskriminierung 2.0: Wie Algorithmen Menschen diskriminieren» beleuchten AlgorithmWatch CH und humanrights.ch zusammen mit weiteren Organisationen deshalb unterschiedlichste Fälle von algorithmischer Diskriminierung. Um den Risiken für systematische Benachteiligungen von Kindern und Jugendlichen durch Algorithmen und KI ein Gehör zu verschaffen, brauchen wir deine Unterstützung! Abonniere jetzt die Newsletter deiner Wahl:

AlgorithmWatch CH ist eine gemeinnützige Nichtregierungsorganisation. Wir setzen uns dafür ein, dass Algorithmen und Künstliche Intelligenz (KI) Gerechtigkeit, Demokratie, Menschenrechte und Nachhaltigkeit stärken, statt sie zu schwächen. Abonniere hier die AlgorithmNews CH.

humanrights.ch informiert, berät und stärkt diejenigen, die sich für ihre eigenen Menschenrechte und für die Menschenrechte anderer einsetzen – in der Öffentlichkeit, in der Politik, in der Justiz, in Organisationen und Bewegungen, in der Bildung. Abonniere hier die Newsletter von humanrights.ch.

Pro Juventute unterstützt Kinder und Jugendliche mit ihren Eltern seit über 100 Jahren auf dem Weg zu selbstbestimmten und verantwortungsbewussten Persönlichkeiten. Mit vielfältigen Angeboten hilft die Stiftung direkt und wirkungsvoll. Davon profitieren jährlich über 300’000 Kinder und Jugendliche und fast 140‘000 Eltern in der Schweiz. Abonniere hier die Newsletter von Pro Juventute.

UNICEF Schweiz und Liechtenstein setzt sich dafür ein, dass Kinder und Jugendliche auf allen Ebenen in der Schweiz und in Liechtenstein geschützt und gefördert werden und sich beteiligen können. Dazu informieren und sensibilisieren wir zu Kinderrechte-Themen, engagieren uns zu nationalen politischen Fragen und setzen uns für Kinderrechte auf lokaler Ebene ein. Grundlage für diese Arbeit ist die UN-Konvention über die Rechte des Kindes. Abonniere hier den Kinderrechte Newsletter von UNICEF Schweiz und Liechtenstein.