Der britische Mathematiker und Informatiker Alan Turing ersann vor gut 70 Jahren ein Verfahren, um künstliche Intelligenz mit menschlicher zu vergleichen. Bei dem Turing-Test muss sich eine Person ausführlich per Texteingabe mit einem Computer und mit einem Menschen unterhalten. Errät er oder sie am Ende nicht, welcher Gesprächspartner der menschliche war, dann hat die Maschine den Test bestanden – ihr wird ein dem Menschen ebenbürtiges Denkvermögen zugestanden.
- Zum Artikel "ChatGPT - Schafft die KI das bayerische Abitur?"
Umgekehrter Turing-Test
Inzwischen brauchen wir ein Verfahren, das anders herum funktioniert, denn KI-Texte sind generell von Menschen kaum mehr als solche erkennbar. Das wirft zum Beispiel in Schulen oder Universitäten Fragen auf: Ist eine Hausaufgabe oder Doktorarbeit noch selbst verfasst, oder wurde mit Hilfe von KI geschummelt? Das Unternehmen Open AI, das hinter ChatGPT steht, möchte hierfür ein Hilfsmittel liefern.
Die Entwicklerfirma hat ein Programm mit dem Namen „Classifiers“ zur Verfügung gestellt, das unterscheiden soll, ob ein Text von einem Menschen oder von einem Computer geschrieben wurde.
Auf Deutsch noch nicht zuverlässig
Die Software funktioniert bislang nur dürftig. Die ersten zwei Abschnitte dieses hier vorliegenden Textes kann das Programm zum Beispiel schon einmal nicht einordnen. Die Antwort lautet: „unklar, ob das ein KI-generierter Text ist“. Open AI schränkt selbst ein, dass die Software sich noch irren kann, vor allem, wenn es sich um Texte handelt, die nicht in englischer Sprache verfasst worden sind.
In Testläufen von Open AI wurden neun Prozent der von Menschen formulierten Texte fälschlicherweise einer Maschine zugeordnet, wie die Firma selbst einräumt. Deshalb empfehle man vorerst, sich bei der Bewertung der Texte nicht hauptsächlich auf die Einschätzung des „Classifiers“ zu verlassen.
Andere Analysetools in der Entwicklung
Es gibt aber auch Alternativen: GPTZero heißt beispielsweise eine weitere Lösung, die Sprache haarklein analysiert und am Ende einen Hinweis gibt, ob der Text von Menschen oder Maschinen stammt. Allerdings arbeitet auch dieser Dienst – zumindest auf Deutsch - noch nicht zuverlässig. Die ersten beiden Absätze dieses Textes werden in unserem Schnelltest zwar als „wahrscheinlich von einem Menschen geschrieben“ einklassifiziert. Das gleiche Ergebnis kommt jedoch auch bei drei unterschiedlichen von ChatGPT verfassten deutschen Texten – obwohl die definitiv von einer KI stammten.
Analysentools müssen also offensichtlich noch viel lernen, um ihren Zeck zu erfüllen. Immerhin: es wird an mehreren Orten daran gearbeitet. Auch Forschende von Harvard und IBM haben ein Hilfswerkzeug entwickelt und sind hier unterwegs. Und klar ist: solche Tools werden umso dringender gebraucht, je besser KI-Chatbots werden – und sie sind schon jetzt ziemlich gut.
"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!