Brustkrebsvorsorge ist für Rebecca Bauer ein wichtiges Thema. Jeden Monat macht sie auf ihrem Instagram-Account darauf aufmerksam. Im Oktober 2022 stellt sie sich dafür mit nacktem Oberkörper vor den Spiegel, ein Arm verdeckt die Brust. Dazu schreibt sie übersetzt: "Hier kommt Eure monatliche Erinnerung: Checkt Eure Brüste #brustkrebsvorsorge". Doch die Instagram-Story wird gelöscht.
Dies kann an den Algorithmen liegen, die neben menschlichen Content-Moderatoren auf sozialen Netzwerken wie etwa Instagram automatisiert Texte und Bilder filtern. Damit bestimmen sie mit, was Nutzer im Netz sehen können - abhängig von den jeweiligen Plattform-Regeln, in denen es etwa um den Umgang mit Nacktheit oder Gewalt geht.
Amazon-Tochter, Microsoft, Google bieten KI-Bilderkennung an
Mehrere der großen Tech-Unternehmen bieten Bilderkennungs-Technologien kommerziell zahlenden Kunden, wie etwa sozialen Plattformen, an: Microsoft, Google und die Amazon-Tochter "Amazon Web Services" (AWS). Auch einige wenige europäische Unternehmen sind in diesem Bereich tätig, etwa die Firma "Sightengine" aus Paris.
Gemeinsam mit Journalistinnen und Journalisten von "Guardian US", der amerikanischen Ausgabe der britischen Tageszeitung "The Guardian", hat das BR-Datenteam kommerzielle Bilderkennungs-Algorithmen untersucht. Im Fokus der Recherche: Systeme, die sexuelle Anzüglichkeit auf Bildern messen. Die vier öffentlich erreichbaren, zahlungspflichtigen Systeme der Unternehmen Amazon Web Services (AWS), Microsoft, Google und Sightengine wurden mit mehr als 3.000 Bildern getestet. Ein zentrales Ergebnis der Analyse: Bilder von Frauen werden im Vergleich zu Bildern von Männern deutlich häufiger als anzüglicher eingestuft.
Testen Sie selbst:
Der Test des BR-Datenteams zeigt: Beim Bild einer lesenden Frau auf einem Sofa, daneben ein Hund, kommt Googles Algorithmus zu der Einschätzung: sehr wahrscheinlich anzüglich. Eine Person mit Kompressen auf der Brust, offenbar nachdem die Brüste abgenommen wurden: Auch hier ist die Bewertung von Google sehr hoch.
Analyse der vier Systeme zeigt große Unterschiede
Der BR-Test gibt klare Hinweise auf einen Gender Bias, eine Verzerrung auf Basis des Geschlechts. Die Dienste schneiden dabei unterschiedlich ab: Das angewandte statistische Verfahren zeigt bei Microsoft in 69 Prozent aller Stichproben einen Gender Bias, bei Google in 47 Prozent, bei Amazon Web Services in 20 Prozent und bei Sightengine in 17 Prozent der Stichproben. Zudem tritt der Gender Bias je nach Dienst in unterschiedlichen Bereichen auf.
Anbieter legen Verantwortung in die Hände der Kunden
Alle Anbieter verweisen auf Anfrage darauf, dass sie lediglich Wahrscheinlichkeiten berechnen. Die Kunden müssten eigenverantwortlich festlegen, welche Grenzwerte für sie angemessen sind und zum Einsatzbereich passen. Was also mit den Bewertungen der einzelnen Bilder passiert, müssen Kunden, wie beispielsweise soziale Plattformen, selbst entscheiden.
Die Firma Sightengine betont auf Anfrage, dass sie mehrere Kategorien von Nacktheits-Bewertung anbiete. Hiermit könnten die Nutzer definieren, was für sie akzeptabel sei und der Dienst könne über geografische und kulturelle Normen hinweg genutzt werden.
Google schreibt: "Kein Filter ist zu 100% genau. Wir testen jedoch regelmäßig die Leistung (unserer Algorithmen, ergänzt von der Redaktion) und unsere statistischen Tests haben keine Hinweise auf systemische Probleme ergeben. Dies ist ein komplexer und sich stets weiterentwickelnder Bereich". Es sei ein Grundprinzip der Filter, dass diese keine unfairen Vorurteile in Bezug auf das Geschlecht erzeugen oder verstärken würden.
Amazon Web Services teilt auf Anfrage mit: "Die Inhaltsmoderationskategorien von Amazon Rekognition sind so konzipiert, dass sie breit gefächert und umfassend sind, um eine Vielzahl von Kundenanwendungsfällen abzudecken." Zudem liefere der Service lediglich Kennzeichnungen für erkannte Elemente (wie Inhalte auf Bildern, Anmerkung der Redaktion), die von menschlichen Moderatoren weiter überprüft werden müssten.
Microsoft hat auf die Anfrage des BR nicht reagiert.
Große Bedeutung für einzelne Nutzerinnen
Kommt es zu einer Verzerrung auf Basis des Geschlechts, wie im Test von BR Data, kann das Folgen haben für die Nutzerinnen und Nutzer von Plattformen, die solche Technologien einsetzen. Carsten Schwemmer, Professor für "Sociology and Computational Social Sciences" an der LMU München beschreibt den Zusammenhang so:
"Es kann sein, dass ein System eine einzelne Frau zwar nur minimal benachteiligt, doch es laufen in sehr kurzer Zeit Tausende Bilder durch solche Systeme. Da können selbst kleine Unterschiede zwischen Männern und Frauen automatisiert im großen Stil weitergetragen werden."
Schwemmer beschreibt damit den sogenannten Skalierungseffekt, den algorithmische Systeme begünstigen können. Eine Verzerrung oder ein Vorurteil wird tausendfach wiederholt und damit verstärkt. Bilder von Frauen laufen so eher Gefahr geblockt, gelöscht oder in ihrer Reichweite eingeschränkt zu werden - so wie es Rebecca Bauer passiert ist. Das kann auch wirtschaftliche Konsequenzen haben, etwa wenn der Account als Werbemaßnahme für das eigene Geschäft dient.
Diskussion um die Darstellung von Nacktheit
Instagram nannte Rebecca Bauer als Grund dafür, ihre Story zu löschen, "sexuell motivierte Kontaktaufnahme durch Erwachsene". Für Bauer ist das unverständlich.
Zuletzt forderte sogar das konzerneigene Aufsichtsgremium von Facebook und Instagram, dass die Regeln für diese Kategorie überarbeitet werden müssen.
Meta schreibt auf Anfrage: "Wir schränken die Darstellung von Nacktheit oder sexuellen Handlungen auf unseren Plattformen ein, da einige Menschen auf diese Inhalte sensibel reagieren können, zum Beispiel aufgrund ihres kulturellen Hintergrunds oder Alters. […] Wir arbeiten stetig daran, diese Inhalte noch besser einschätzen zu können und unsere Richtlinien wohl überlegt durchzusetzen."
Gleichzeitig zeigen Untersuchungen von "AlgorithmWatch", dass Instagram in manchen Fällen solche Bilder bevorzugt, auf denen Männer wie Frauen Haut zeigen. Für Nutzerinnen wie Rebecca Bauer ist es demnach mehrfach intransparent, welcher Content veröffentlicht wird und welcher nicht: Die Hersteller dieser Filtersysteme geben nur wenige Informationen, wie diese technisch funktionieren. Und die sozialen Plattformen verweisen vor allem auf ihre sehr allgemeinen Regeln, wie sie solche Filter einsetzen.
Das Spiel mit scheinbar weiblichen und männlichen Attributen
Um besser zu verstehen, auf welche visuellen Elemente die Algorithmen reagieren, konzipieren die Datenjournalistinnen von BR und dem Guardian US einen weiteren Test: Der BR-Journalist Max Osenstätter vom Instagram-Format News-WG steht mit nacktem Oberkörper vor der Kamera und zieht sich einen BH an. Das Ergebnis: Mit BH auf dem Oberkörper wird der zuvor als kaum anzüglich eingestufte Mann vom Microsoft- und Sightengine-Produkt plötzlich als anzüglich eingestuft, die übrigen Systeme reagieren kaum.
Max Osenstätter testet Bilderkennungsalgorithmen
Abeba Birhane ist Kognitionswissenschaftlerin bei der "Mozilla Foundation" und dem Trinity College Dublin (Irland) und Expertin für Verzerrungen in KI-Systemen wie den neuronalen Netzen, auf denen die untersuchten Algorithmen basieren. Neuronale Netze ahmen die komplexen Strukturen eines menschlichen Gehirns nach. "Wenn man ein neuronales Netz trainiert, hat man keine Ahnung, was es erkennt. Es sucht eher nach Kontrasten und Hintergründen, als dass es das Objekt selbst versteht."
So wie bei den Bildern von Osenstätter und der Bewertung durch Microsoft und Sightengine: Ausschlaggebend für eine höhere Bewertung scheint ein Kleidungsstück zu sein, der BH. Mehr zu diesem Test findet sich auf dem Instagram-Channel der News-WG.
Training der Modelle ausschlaggebend
Damit Firmen überhaupt solche Modelle entwickeln können, brauchen sie Menschen, die vorher viele tausend Bilder bewerten, sogenanntes "Labeln": Ist eine anzügliche Pose zu sehen? Ein Mann mit nacktem Oberkörper? Ein Dekolleté? Ist nackte Haut per se anzüglich? Durch diese menschlichen Bewertungen entstehen die sogenannten Trainingsdaten, auf deren Basis sexuelle Anzüglichkeit in ein Modell verwandelt wird. Doch diese seien nie optimal, meint Birhane: "Es gibt keinen Datensatz ohne Verzerrung. Denn das Labeln ist nie frei von menschlichen Einschätzungen." Und das werde umso schwerer, je weniger greifbar das zu beschreibende Merkmal ist. So wie sexuelle Anzüglichkeit.
Birhane befürchtet: "Im schlimmsten Fall - und das ist der Fall, wenn die Modelle nicht sorgfältig erstellt werden - endet man damit, dass man Stereotypen automatisiert und Modelle erstellt, die weit von der Realität entfernt und damit letztendlich schädlich sind." Das betont auch Schwemmer: "Man kann davon ausgehen, dass gesellschaftliche Stereotype in den Trainingsdaten landen."
Genauso plötzlich, wie Rebecca Bauers Post zur Brustkrebsvorsorge im Herbst 2022 gesperrt wurde, ist die Entscheidung nach einer Anfrage des BR an Meta wieder aufgehoben. Zuvor hatte sie monatelang auf eine Rückmeldung von Instagram gewartet. Abeba Birhane fordert mehr Regulierung für solche Produkte: "Dies ist eine Branche, die dem Wilden Westen gleicht."
Ataman: "Thema Diskriminierung wird noch größer"
Ferda Ataman von der Antidiskriminierungsstelle des Bundes befürwortet eine weitere Regulierung vom Einsatz von Algorithmen:
Das Thema Diskriminierung und automatisierte Entscheidungssysteme ist jetzt schon groß, und es wird noch viel größer.
Deshalb fordert sie: "Was wir zum Beispiel brauchen, sind Dokumentationspflichten für alle diskriminierungssensiblen Entscheidungen, bei denen algorithmische Systeme involviert sind."
Davon würden sowohl die Anbieter als auch die Kunden und Kundinnen solcher Entscheidungssysteme profitieren. Für Nutzer und Nutzerinnen wäre so transparenter nachvollziehbar, was sie im Internet sehen und was nicht – und für die Öffentlichkeit, ob es in bestimmten Bereichen zu Verzerrungen oder Diskriminierung kommen kann.
Hier geht es zur Methodik unserer Tests.
Idee und Mitarbeit: Hilke Schellmann und Gianluca Mauro, deren Recherche vom Pulitzer Center unterstützt wurde
Interactive: Sebastian Bayerl
Video: Max Brandl, BR
Vorbereitende technische Tests: Linus Netze
Das ist die Europäische Perspektive bei BR24.
"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!