Zurück zur Startseite
Netzwelt
Zurück zur Startseite
Netzwelt

Kollege Roboter im BR24-Praxistest - wie gut sind KI-Texte? | BR24

© picture alliance / Klaus Ohlenschläger

Künstliche Intelligenz als Herausforderung

2
Per Mail sharen
Teilen

    Kollege Roboter im BR24-Praxistest - wie gut sind KI-Texte?

    Können Algorithmen brauchbare Texte schreiben? Wie gut sind Roboter-Journalisten? Wo können sie helfen - und wo liegen ihre Grenzen? Wir haben es ausprobiert.

    2
    Per Mail sharen
    Teilen

    In Zusammenarbeit mit dem Experten für Roboter-Journalismus Wolfgang Zehrt entstand die Idee, mithilfe von Roboter-Journalismus die Veränderungen auf dem Kfz-Markt zu beleuchten: Werden in meiner Gegend mehr Elektro-Fahrzeuge angemeldet? Oder bleiben die Nachbarn dem Diesel treu? Und welche Automodelle stehen gerade hoch im Kurs? Auf Basis der Daten der einzelnen Landkreise ließen wir die Maschine Texte generieren. Zudem erstellten wir Karten, auf denen Sie selbst nachschauen können, wie sich die Kfz-Anmeldestatistik bei Ihnen vor Ort entwickelt hat.

    Was kann Kollege-KI?

    Das Experiment dauerte mehrere Monate. Dies ist nur ein vorläufiger Einblick, der die Probleme aber auch die Potenziale von Roboter-Journalismus an einem konkreten Projekt verdeutlichen soll. Die Zusammenarbeit mit Wolfgang Zehrt ist hierbei ein iterativer Prozess. Das heißt: Man verbessert den Algorithmus immer wieder und nähert sich so nach und nach der exakten Lösung an.

    Die Texte wurden mehrmals optimiert, Feedback der Fachredakteure aus der BR-Wirtschaftsredaktion wurden laufend eingearbeitet. Anhand von drei Beispielen kann man sehen, was die KI-Kollegen gut machen und woran es noch hapert. In einer der ersten Versionen der KI geschriebenen Texte wurden im September 2018 die Veränderungen auf dem Kfz-Markt im schwäbischen Aichach-Friedberg beispielsweise folgendermaßen beschrieben:

    "Der Spitzenreiter in der Zulassungsstatistik bei den Benzinern ist der Dacia Duster. Im Vergleich zum Vorjahresmonat wurden von diesem Typ 50 Wagen (1667 Prozent) mehr zugelassen. Wurden im August 2017 noch 77 Selbstzünder zugelassen, haben sich jetzt, ein Jahr später, im August 2018 in Aichach-Friedberg sogar 105 Personen für Fahrzeuge mit diesem Antriebstyp entschieden. Das sind ganze 36 Prozent mehr als im Vorjahr. Der begehrteste Dieselwagen (Audi A4) kommt auf immerhin 6 Zulassungen, das ist ein Zuwachs von 4 Wagen." Automatisiert erstellter Text zur Kfz-Zulassung, September 2018.

    Der automatisierte Textgenerator schreibt ein wenig floskelig, aber auch nüchtern und sprachlich weitgehend korrekt. Nur manchmal finden sich krumme Formulierungen in dem Text, etwa dass es einen "Zuwachs von 4 Wagen" gegeben habe. Inhaltlich gibt es Probleme bei den Zeitbezügen, da der Zeitabstand "Vormonat" August 2017 beträgt in Wirklichkeit über ein Jahr. Auch Abwägungen beziehungsweise Einordnungen scheinen der Maschine schwerzufallen. Der Anstieg um 1667 % bei den Neuanmeldungen vom Dacia Duster nimmt sich in absoluten Zahlen nicht ganz so beeindruckend aus.

    "Die Maschine lernt wie ein Journalist"

    "Die Maschine lernt wie ein Journalist", sagt Wolfgang Zehrt. Für das Projekt wurde ein eigener Algorithmus programmiert, aber genau wie junge Journalisten, braucht auch dieser Algorithmus noch etwas Hilfe. "Man muss dem Programm nicht mehr alle Sätze in allen Variationen vorschreiben, aber komplett selbstständig lernt der Algorithmus noch nicht", so Zehrt.

    Vom Glanz und Elend automatisiert erstellter Texte

    Eine andere Version aus dem April 2019 wurde dem BR-Wirtschaftsredakteur Sebastian Hanisch vorgelegt. Sein Fazit fällt gemischt aus.

    "Beeindruckend ist, dass der 'Kollege Roboter' mit der richtigen Datenquelle quasi per Knopfdruck eine fast unbegrenzte Anzahl an Texten produzieren kann. Er wird nicht müde und verrechnet sich nicht. Das Problem: Er kann die eigenen Texte nicht wirklich 'verstehen'. Widersprüche darin fallen ihm nicht auf. Er kann Ursache und Wirkung nicht unterscheiden. Und ist er einmal 'falsch abgebogen', hat also Daten falsch interpretiert, dann wird er diesen Fehler immer weiter fortführen. Das ist auch wenig verwunderlich. Fachjournalisten können Daten und Befunde durch ihre jahrelange Erfahrung sofort einordnen. Das kann die Künstliche Intelligenz nicht so einfach nachbilden. Hier ist der Mensch bislang unschlagbar." Sebastian Hanisch, BR Wirtschaft.

    Mit Zeitbezügen scheint die KI immer noch Probleme zu haben, hinzu kommen kleinere Fehler, die insgesamt aber eher kosmetischer Natur sind. Künstliche Intelligenzen haben unbestreitbare Stärken insbesondere in der Erkennung von Mustern, in der Interpretation solcher Muster tun sie sich aber oftmals schwer. Das zeigt sich auch an unserem Robo-Journalismus-Projekt.

    Zitat: "Das zulassungsstärkste Hybrid-Modell ist im Dezember der Audi A6 mit 22 Neuzulassungen. Das sind im Vergleich zum selben Monat im Vorjahr 22 Wagen mehr. Insgesamt gab es einen Anstieg des Marktanteils der Hybridfahrzeuge unter allen Neuzulassungen, von 1,7 % im letzten Jahr auf jetzt 7,1 %. Noch sind die reinen Elektrofahrzeuge eher selten auf den Straßen des Landkreises München, was auch an einem Rückgang der Zulassungszahlen seit dem letzten Jahr liegt." Automatisiert erstellter Text zur Kfz-Zulassung, April 2019.

    Hier schreibt der Algorithmus beispielsweise, dass die Zulassungen im Jahresvergleich gesunken seien. Dies ist aber nicht der Fall, die Zulassungen sind nur im Vergleich zum letzten Monat gefallen. Aus Fehler entsteht dann ein Folgefehler: Die KI glaubt, E-Autos seien seltener anzutreffen, in Wirklichkeit trifft aber das Gegenteil zu. Manche Abwägungen scheinen der KI zudem schwerzufallen. Sie listet etwa penibel die Anmeldezahlen des Pkw-Modells Smart Fortwo auf, obwohl diese bayernweit nur bei 0,06 Prozent liegen. Ein menschlicher Redakteur wäre wohl weniger ins Detail gegangen und stattdessen zupackender Wichtiges von Unwichtigem getrennt.

    Gute Daten sind das A und O

    Ein Grundproblem von automatisierten Texten auf Datenbasis zeigt sich auch in unserem Projekt: Die Qualität der Texte kann nur so gut sein, wie die Qualität der Daten. Das Team von Wolfgang Zehrt verbringt deswegen viel Zeit damit, die Daten entsprechend vorzubereiten. Die Daten müssen maschinenlesbar sein und im richtigen Format angeliefert werden. "Da können kleine Änderungen zu großen Probleme führen", sagt Wolfgang Zehrt. Denn wenn in der Datenbasis auch nur eine Spalte umbenannt wird, kann das dazu führen, dass die Maschine die Daten nicht mehr lesen kann oder falsch interpretiert.

    Der Algorithmus lernt - mithilfe von Menschen

    Im Juli 2019 erreichte uns eine neue Version der automatisiert geschriebenen Texte. Die Texte sind qualitativ sehr viel besser, auch wenn sie noch nicht so rund sind, dass man sie veröffentlichen kann. Sie weisen kleine Grammatik– und Rechtschreibfehler auf, manchmal wird der Inhalt der Absätze in einer Zwischenüberschrift nicht korrekt wiedergegeben.

    Zitat: "Auch hohe Absatzzahlen verzeichnen der AUDI A4 und der AUDI A5, die mit jeweils 137 und 137 angemeldeten Fahrzeugen auf Platz 2 und 3 folgen. Im Zulassungsbezirk München wurden vor einem Jahr (Juni 2018) insgesamt 853 Hybridfahrzeuge zugelassen. Im Juni 2019 sind es 1954 und damit hat sich die Zahl um 129.1 Prozent verändert." Robotergeschriebener Text zur Kfz-Zulassung, Juli 2019.

    Kleinere Logikfehler: Die Algorithmen platzieren zwei Audi-Modelle auf Platz zwei und drei der Absatzstatistik, obwohl beide Modelle exakt dieselben Anmeldezahlen aufweisen. Aber genau das sind Dinge, die sich verhältnismäßig einfach durch Änderungen im Programmiercode beheben lassen.

    Fazit und Ausblick

    In Zukunft wird vielleicht auch das überflüssig sein. In diesem Projekt wurde mit einer "schwachen" KI gearbeitet, "starke" KIs könnten in Zukunft neue Texte aus alten Texten erstellen, "das wäre dann das Perpetuum Mobile des Journalismus" sagt Wolfgang Zehrt. Klar ist: In manchen Bereichen kann der Einsatz von automatisierten Texten sinnvoll sein, etwa dort, wo Menschen gar nicht in der Lage wären, die anfallenden Daten hyperlokal und aktualisiert in Texte abzubilden. Ebenso klar ist aber auch, dass der Roboter-Kollegen zunächst vorerst noch lernen muss - von seinen Kollegen aus Fleisch und Blut.

    BR24: "Mehr Mensch"

    Bei solchen Inhalten könnte es sein, dass Kollege KI irgendwann die Redaktionsarbeit unterstützt. Klar ist aber auch: Wir bei BR24 gehen den Weg zu "mehr Mensch". Wir wollen, dass unsere Autoren für unsere Leser Gesicht zeigen und ansprechbar sind. Sie finden deswegen zu allen unseren Autoren Profil-Bilder und Kontaktmöglichkeiten, sowie Informationen zu den jeweiligen Spezialgebieten. Wir werden unsere Nutzer transparent über neue Technologien im Redaktionseinsatz informieren und diese dazu einsetzen, Ihnen das bestmögliche Informationsangebot zu liefern. Deswegen beobachten wir aufmerksam die technologische Entwicklung und denken laufend über neue Anwendungen nach, die uns helfen, unser journalistisches Angebot weiter zu verbessern. Und: Selbstverständlich klären wir über Fehler auf, wenn diese passieren. Auch in Zukunft könne Sie sich also darauf verlassen, dass wir am Ende alle "nur" Menschen sind.