Ein Callcenter in Rostock: Hier sitzt die Telefon-Agentin Nicole Eingrieber in einem Großraumbüro und beantwortet Anrufe über ein Headset.
Vor ihr stehen mehrere Bildschirme. Auf einem sieht Eingrieber zwei Smileys, die während der Gespräche manchmal Farbe und Gesichtsausdruck wechseln. Eines der Gesichter zeigt die Gemütslage, die ein KI-Algorithmus aus der Stimme von Nicole Eingrieber heraushört. Das andere zeigt die Stimmung der Anrufer - etwa, ob sie verärgert sind.
Nicole Eingrieber arbeitet für das Callcenter-Unternehmen 11880. Zu den Auftraggebern von 11880 gehören Wohnungsbaugesellschaften, Autohäuser und Leihanbieter von Elektrorollern. Für sie bearbeitet das Unternehmen Kundenbeschwerden. Was viele Anruferinnen nicht wissen: 11880 wertet mithilfe Künstlicher Intelligenz (KI) ihre Emotionen aus - anhand der Stimme.
- Das ARD-Radiofeature "Abgehört - Das Geschäft mit Sprach-KI" finden Sie in der ARD-Audiothek
KI-Software aus Gilching
Die Technologie dafür hat 11880 gemeinsam mit einem bayerischen Unternehmen entwickelt: dem Softwarehersteller Audeering aus Gilching bei München. Forschende der TU München gründeten 2012 das Start-up, das sich heute auf seiner Website als "weltweit führender Innovator im Bereich Stimm-KI" bezeichnet.
In Deutschland ist 11880 nicht das einzige Callcenter-Unternehmen, das KI zur Emotionsanalyse nutzt. So verfügt Teleperformance, einer der weltweit größten Callcenter-Betreiber, über eine KI-Software, die unter anderem die Emotionen der Anrufenden und der Callcenter-Agenten erkennen soll. Wie schnell sprechen sie? Klingen sie aufgeregt oder ängstlich? Drohen Kunden mit Vertragskündigungen oder Klagen? Das alles soll die KI auswerten, wie interne Dokumente des Unternehmens belegen.
In Deutschland telefonieren knapp 2.000 Agenten für Teleperformance, unter anderem im Auftrag von Energieversorgern. Aus den Unterlagen geht hervor, dass Auftraggeber von Teleperformance die Software für ihre deutschsprachigen Hotlines nutzen können. Unklar ist, wie viele Gespräche das Unternehmen mit der KI-Software analysiert. Der Konzern wollte sich auf Anfrage des BR hierzu nicht äußern.
Stimmanalyse anhand von mehr als 6.000 Parametern
11880 geht hingegen offen mit dem Einsatz von KI zur Emotionserkennung um. Diese analysiert in Echtzeit Sprachmelodie, Intensität, Rhythmus und Klang. Insgesamt würden mehr als 6.000 Parameter der Stimme ausgewertet, um daraus Emotionen zu errechnen, so Jörn Hausmann, Manager bei 11880. Die Software soll dadurch Gefühle wie Wut, Ärger, aber auch Freundlichkeit erkennen.
Hausmann betont, für die Agentinnen sei die KI-Software zur Emotionsanalyse eine Unterstützung, ihr Einsatz durch den Betriebsrat genehmigt und von einem externen Datenschützer geprüft. Mithilfe der KI soll sichergestellt werden, dass die Agenten freundlich bleiben und die Kunden im besten Fall zufriedener auflegen. Dieses Vorgehen ist nicht unumstritten.
Emotionserkennung ohne Einwilligung
In der Bandansage des Unternehmens ist nur von einer Auswertung "zur Prüfung und Verbesserung unserer Servicequalität" die Rede.
Bandansagen dieser Art nennt Rechtsprofessorin Lena Rudkowski von der Universität Gießen "rechtlich problematisch", weil Anruferinnen nicht wissen könnten, wie das Gespräch ausgewertet werde. Emotionserkennung sei etwas, "womit der Kunde nicht rechnen muss".
Über Emotions-KI werden Anruferinnen nicht aufgeklärt, bestätigt 11880-Manager Jörn Hausmann. Eine Einwilligung zur Auswertung sei dafür nicht notwendig: "Hier wird nichts gespeichert und keine Kundenprofile daraus abgeleitet", sagt Hausmann. Das heißt: Selbst, wenn Kunden der Aufzeichnung widersprechen, werden Emotionen ausgewertet.
Ständige KI-Analyse als Totalüberwachung?
Der Rechtsprofessor Peter Wedde von der Frankfurt University of Applied Sciences hält Emotionsanalyse in Callcentern für rechtlich unzulässig. Von den eigenen Mitarbeitern dürften Arbeitgeber nur die Daten verarbeiten, die unbedingt notwendig seien, sagt Wedde. Die Analyse von Emotionen lasse "weitgehende Einblicke in die Persönlichkeit zu". Im weitesten Sinne handele es sich laut Wedde um Gesundheitsdaten, deren Verarbeitung extrem strengen Voraussetzungen unterliege.
Für Juristin Rudkowski von der Universität Gießen ist fraglich, ob im Falle einer ständigen Echtzeitanalyse, die Teamleiter einsehen könnten, nicht eine Totalüberwachung der Callcenter-Agenten vorliege. Arbeitgeber dürften ihre Arbeitnehmer "nicht lückenlos während der gesamten Arbeitszeit überwachen und sie unter erheblichen psychischen Anpassungsdruck setzen", betont Rudkowski.
Unklare Gesetzeslage für KI-Einsatz
Knapp 160.000 Menschen arbeiten in Deutschland in einem Callcenter. Wie viele Callcenter KI zur Sprach- oder Emotionsanalyse verwenden, ist unklar. Branchenkenner schätzen, dass zwischen zehn und dreißig Prozent der Callcenter in Deutschland Telefonate mit KI auswerten.
Bislang fehlt in Deutschland eine gesetzliche Regulierung von künstlicher Intelligenz - auch am Arbeitsplatz. Die Bundesregierung arbeitet aktuell an einem neuen Beschäftigtendatenschutzgesetz, das auch den Einsatz von KI betreffen soll, schreibt das Bundesarbeitsministerium auf BR-Anfrage.
Kaum Kontrollen in Callcentern
Da die Gesetzeslage unklar ist, müssen mögliche Verstöße bei der Auswertung von Gesprächen in Callcentern jeweils im Einzelfall geprüft werden. Zuständig dafür sind die Datenschutzbehörden der Bundesländer. Eine BR-Umfrage unter allen Landesdatenschutzbehörden zeigt, dass in den vergangenen fünf Jahren in sieben der 16 Bundesländer keine einzige Kontrolle von Callcentern stattgefunden hat. Im selben Zeitraum verhängten nur Berlin, Hamburg und Baden-Württemberg jeweils einmal ein Bußgeld gegen Callcenter-Unternehmen.
Auf Ebene der EU soll der AI Act in Zukunft den Einsatz von Künstlicher Intelligenz (AI = Artificial Intelligence) grundlegend regeln. Im Juni beschloss das EU-Parlament mit großer Mehrheit seine Position zu dem Gesetzesentwurf. Die Parlamentsposition sieht vor, dass Emotionserkennung mittels Stimm-KI am Arbeitsplatz, im Bildungsbereich und zur Strafverfolgung verboten werden soll.
Lagodinsky: Emotionserkennung "pseudowissenschaftlich"
Sergey Lagodinsky, Abgeordneter für Bündnis 90/ Die Grünen im Europaparlament, nennt den Einsatz von KI zur Emotionserkennung "pseudowissenschaftlich". Im BR-Interview sagt Lagodinsky. "Jeder Mensch hat das Recht auf Innenleben und darauf, seine Emotionen nicht zu teilen."
Auch der europäische Datenschutzbeauftragte Wojciech Wiewiórowski bezeichnet den Einsatz von KI zur Emotionserkennung als "äußert unerwünscht". Eine Ausnahme seien allerdings Gesundheits- und Forschungszwecke.
Niebler: Chancen und Risiken abwägen
Einzelne Abgeordnete der konservativen Europäischen Volkspartei (EVP) rücken indes von strikten Verboten im AI Act ab. Angelika Niebler (CSU) sagte im BR-Interview, Emotionserkennung am Arbeitsplatz sei ein Thema, bei dem man "Chancen und Risiken sorgfältig abwägen" müsse.
Aktuell verhandeln Kommission, Rat und EU-Parlament noch über die endgültigen Inhalte des AI Act. Die Verhandlungen sollen bis zum Ende dieses Jahres abgeschlossen sein.
Das ist die Europäische Perspektive bei BR24.
"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!