Kennen Sie das? Es ist Freitag, 15 Uhr, und die Birne ist Matsch. Nach einer anstrengenden Woche im Büro wollen Sie einfach nur nach Hause. Aber ständig will noch jemand irgendetwas von Ihnen. Kundenanfragen nach dem Status der aktuellen Bestellung, Freunde schreiben auf Whatsapp, um sich für das Wochenende zu verabreden, die Chefin will, dass Sie sich noch in den neuen Schichtplan eintragen – und so weiter. Um sich endlich ins ersehnte Wochenende hinüberzuretten, antworten Sie zwar auf die Nachrichten – aber vielleicht nicht mit derselben Energie und Ausführlichkeit, wie Sie es an einem Montagmorgen getan hätten.
Wird ChatGPT im Winter faul?
Wäre der KI-Chatbot ChatGPT der amerikanischen Firma OpenAI ein Mensch – vielleicht ginge es ihm dann ähnlich wie in dem obigen Beispiel. Immerhin muss ChatGPT beziehungsweise das darunterliegende KI-Modell GPT-4 jeden Tag eine ganze Menge Fragen beantworten. Hunderte Millionen, um genau zu sein. Da kann man schon mal müde werden.
Tatsächlich berichten zahlreiche User seit Dezember, dass ChatGPT in letzter Zeit bei ihnen wortkarger geworden sei und weniger hilfreiche Antworten gebe. Besonders oft hört man das derzeit von Nutzern, die ChatGPT für die Zusammenfassung und Aufbereitung größerer Datensets benutzen, beispielsweise für Excel-Dateien. Hier gilt das Programm gemeinhin relativ hilfreich und zuverlässig.
Doch gerade in den letzten Tagen melden Nutzer vermehrt ungenaue Antworten, die Rückkehr eigentlich selten gewordener Zahlendreher und sogar Gegenfragen der KI – wie etwa, dass sie jetzt ja schon die erste Hälfte der Daten zusammengefasst habe, und der Nutzer den Rest ja nun alleine machen könne.
Experiment will Hinweis auf schlechtere Antworten im Winter gefunden haben
Für Aufsehen sorgte vor einigen Wochen ein Experiment des amerikanischen Twitternutzers Rob Lynch. In zahlreichen Anfragen will er eine statistisch signifikante Abnahme der Qualität der KI-Antworten gefunden haben, wenn ChatGPT "denke", es sei Dezember und nicht Mai. Zwei verschiedene Datumsangaben packte Lynch in die Prompts von mehreren Tausend identischen Anfragen. Ergebnis: im Winter sei die KI wortkarger.
Jedoch: Als ein anderer Nutzer versuchte, das Experiment zu replizieren, kam dieser auch nach mehreren Versuchen nicht auf dieselben Ergebnisse. Tatsächlich ist unklar, inwieweit solche Untersuchungen großer Mengen an KI-Outputs überhaupt statistisch valide Rückschlüsse zulassen.
Trotzdem sah sich zwischenzeitlich sogar OpenAI selbst veranlasst, auf die Rückmeldungen zu reagieren. Im Dezember postete das Unternehmen über den offiziellen ChatGPT-Account auf X, vormals Twitter, dass man der Frage, ob GPT-4 "fauler" geworden sei, nachgehen werde.
Viel Spekulation zu möglichen Gründen
Die vielleicht interessanteste Spekulation: Falls ChatGPT im Winter und an Freitagen weniger kreative und ausführliche Antworten gibt als im Sommer, könnte das an den Trainingsdaten liegen. Diese umfassen immerhin das gesamte öffentliche Internet. Dazu gehören auch Texte, in denen sich Menschen äußern, dass sie im Winter weniger Energie und Motivation haben, oder dass es Freitag ist und sie sich, von der Woche erschöpft, jetzt auf das Wochenende freuen.
Eine Überlegung in manchen KI-Communitys: Da GPT-4 aus all diesen Texten gelernt hat, wie es auf Fragen antwortet, könnte das dazu führen, dass es eben auch winterliche Verstimmungen oder Erschöpfung am Freitag simuliere und sich entsprechend weniger "Mühe" beim Antworten gebe. Allerdings passt dieser Erklärungsansatz nicht ganz dazu, dass einige Nutzer bereits im vergangenen Sommer über immer schlechtere Antworten klagten.
Hat OpenAI selbst seine Finger im Spiel?
Andere Nutzer wiederum verweisen auf den hohen Energieverbrauch von riesigen Sprachmodellen wie GPT-4 und vermuten, OpenAI könnte heimlich die Leistung des Modells gedrosselt haben, um Stromkosten zu sparen.
Es wäre nicht das erste Mal, dass das Unternehmen die Leistungsfähigkeit seines wichtigsten Produkts verringert. Beispielsweise war in der Vergangenheit zwischenzeitlich die integrierte Internetsuchfunktion des Programms nur begrenzt oder teilweise gar nicht verfügbar. Allerdings kündigt das Unternehmen solche Änderungen in der Regel an.
Am Ende nur ein Gewöhnungseffekt?
Ein dritter möglicher Grund für das Phänomen ist vermutlich der banalste – aber vielleicht nicht der unwahrscheinlichste. Vielleicht sind die Antworten von ChatGPT gar nicht so viel anders, wie sie immer schon waren. Nur hat womöglich mittlerweile bei vielen Nutzern der erste Wow-Moment nachgelassen, die Begeisterung über die Neuigkeit ist nicht mehr ganz so groß und die Antworten fühlen sich dementsprechend einfach nicht mehr ganz so beeindruckend an.
Das ist zumindest die Vermutung einiger Twitter-Nutzer. Zugleich könnte es sein, dass wenig hilfreiche Antworten vielen Usern jetzt gerade besonders stark auffallen, weil diese durch den anhaltenden Online-Diskurs über ChatGPT unbewusst dafür sensibilisiert wurden. In der Kognitionsforschung ist dieser Effekt bekannt als Frequenzillusion oder auch als Baader-Meinhof-Effekt, wonach scheinbar plötzlich überall Dinge auftauchen, von denen man gerade erst gehört hat.
Dieser Artikel ist erstmals am 17.01.2024 auf BR24 erschienen. Das Thema ist weiterhin aktuell. Daher haben wir diesen Artikel erneut publiziert.
Das ist die Europäische Perspektive bei BR24.
"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!