Meine erste intensive Beschäftigung mit diskriminierender KI war nicht ChatGPT, sondern ein System von Amazon. 2018 wurde bekannt, dass der Konzern ein experimentelles Recruiting-System gestoppt hatte, das systematisch Bewerbungen von Frauen benachteiligte.
Was war das Problem? KI beruht, vereinfacht gesprochen, auf Statistik, dem Erkennen von Mustern in Daten und Wahrscheinlichkeiten. Und bisher wurden im IT-Bereich weniger Frauen eingestellt als Männer. Das ist nicht der einzige Gap, den wir kennen: Es gibt den Gender Pay Gap, den Gender Credit Gap, den Gender Investment Gap, den Gender Health Gap, den Gender Data Gap und viele, viele mehr. Und all das ist relevant, wenn KI auf Statistik und Daten beruht.
Warum gerade Frauen KI-Empfehlungen kritisch hinterfragen sollten
2018 war Künstliche Intelligenz für viele entweder noch ein Fremdwort oder nur in Science-Fiction existent. Heute begegnet sie uns nahezu in jedem Arbeitskontext. Große Sprachmodelle (LLMs) finden ihre Wege in unzählige Entscheidungen, beruflich wie privat.
Eine 2025 veröffentlichte Studie deutscher Universitäten testete fünf Sprachmodelle im Kontext der Gehaltsberatung. Im Test erhielten weibliche Personas signifikant niedrigere Gehaltsempfehlungen als männliche. Ebenso People of Color und Menschen mit hispanischem Hintergrund waren betroffen.
Das beweist nicht, dass ChatGPT und Co. für Frauen grundsätzlich schlechter funktionieren. Es zeigt aber, dass der Einsatz von KI für die Vorbereitung oder gar Automatisierung von Entscheidungen problematisch sein kann.
Generative KI berechnet, welche Antwort auf Basis ihrer Trainingsdaten besonders wahrscheinlich, das heißt nicht unbedingt auch korrekt, ist. In einer Realität, in der Frauen seit langem systematisch weniger verdienen und seltener befördert werden, spiegelt „Wahrscheinlichkeit“ genau dieses Ungleichgewicht. Und es kommt als Antwort so überzeugend daher.
