Ihr Browser unterstützt diese Inhalte nicht.
Sie schreibt Bewerbungsschreiben, tüftelt Kochrezepte aus, tritt in Talkshows auf, spricht mehrere Sprachen fließend und soll möglicherweise sogar Google gefährlich werden. Doch bezwingt ChatGPT auch den Endgegner unter den Abschlussprüfungen? Oder genauer: Besteht die KI das bayerische Abitur, das als besonders herausfordernd gilt? Genau das wollten die Computerlinguisten vom AI & Automation Lab des BRs herausfinden - zusammen mit Lehrern bayerischer Gymnasien, welche die Abi-Antworten korrigiert haben, die ChatGPT abgegeben hat und die auch wusste, dass die Antworten von einer KI kommen.
Ganz aussichtslos ist das Unterfangen nicht: ChatGPT hat Prüfungen bestanden, an denen mancher Mensch schon verzweifelt ist. An der University of Minnesota schaffte die KI diverse Jura-Prüfungen, und kürzlich erst bewältigte das Programm den finalen Test in Betriebswirtschaftslehre an der University of Pennsylvania.
In insgesamt vier Fächern haben wir ChatGPT zum bayerischen Abitur antreten lassen. Die Aufgaben basieren auf den Abi-Prüfungen des Jahres 2022. Bei unserem Experiment zeigt sich: Manche Aufgaben bewältigt die KI halbwegs souverän, an anderen scheitert sie, und in wieder anderen kommt es zu veritablen Hängepartien.
Eigentlich hätte das Thema für ChatGPT ein Heimspiel sein müssen. Im Deutsch-Abitur 2022 galt es nämlich einen Text zu kommentieren, der sich mit den Fähigkeiten der Künstlichen Intelligenz selbst auseinandersetzt. Er lautet "Wenn ein Algorithmus die ganze Literaturgeschichte revolutioniert: Im Maschinozän schreiben Maschinen bessere Texte als Menschen" und stammt von der bekannten Kommunikationswissenschaftlerin Miriam Meckel.
Ob aber Maschinen im Jahr 2023 bessere Deutsch-Abis schreiben, das scheint zumindest zweifelhaft. "ChatGPT, Sie haben zwar die grundlegende Intention der Autorin erfasst, bleiben aber in ihrer Ausführung weit hinter den Anforderungen zurück", so das kühle Fazit des Deutschlehrers Patrick Dorn in seiner abschließenden Bewertung. Insgesamt vergibt der Lehrer des Maria Ward Gymnasiums in Augsburg magere drei Punkte. In Noten wäre das eine 5+ und ChatGPT damit durchgefallen.
Dabei war die Leistung von ChatGPT in allen Belangen mangelhaft. Die Sprache ist eintönig, der Antwort-Text viel zu kurz, vor allem aber inhaltlich hapert es. "Das ist viel Gelaber", so Patrick Dorn im Gespräch mit BR24. "Man denkt sich zunächst: Naja, so ungefähr passt es, aber wenn man dann genauer hinschaut, fällt einem schon auf, dass da noch viel Luft nach oben ist."
Das gilt auch für eine andere Aufgabe des Deutsch-Abiturs. ChatGPT scheitert an einer Interpretation des Textes Sternenpflücker des österreichischen Schriftstellers Christoph Ransmayr. Die künstliche Intelligenz wirkt hier fast hilflos.
"Ich kann leider nicht beurteilen, in welchem Kontext "Sternenpflücker" in das Gesamtwerk von Christoph Ransmayr eingebettet ist, da ich keine Informationen über sein Gesamtwerk habe." ChatGPT
"Geben Sie einen Term einer gebrochen-rationalen Funktion h an, die die folgenden Eigenschaften hat: Die Funktion h ist in IR definiert; ihr Graph besitzt die Gerade mit der Gleichung y = 3 als waagrechte Asymptote und schneidet die y-Achse im Punkt ( 0 | 4 )", so lautet die 1b in der Aufgabengruppe 1 des bayerischen Mathematik-Abiturs 2022.
Das klingt kompliziert und ist es vermutlich auch - auch für eine künstliche Intelligenz. "Die KI erreichte im (hilfsmittelfreien) A-Teil 15/30 und im B-Teil 36/90 Punkte", schreibt Thomas Spindler, Lehrer für Mathematik und Informatik am städtischen Luisen-Gymnasium in München. In Summe ergäbe das 51/120 Punkte, was der Note 4- entspricht. Woran die KI scheitert? Sie versteht manche Fragen nicht und bisweilen ist der Rechenweg etwas umständlich. Und trotzdem: ChatGPT hätte das Mathe-Abitur bestanden - wenn auch denkbar knapp.
"Für einen Radiosender soll eine Software entwickelt werden, die Informationen zu den Sendungen mithilfe einer Klasse SENDUNG verwaltet": So lautet der Beginn einer Aufgabe im bayerischen Informatik-Abitur. Eigentlich dürfte ChatGPT in Sachen Informatik leichtes Spiel haben, denn die KI hilft schon heute vielen Programmierern beim Coden. Doch die Fragestellung einer Abitur-Aufgabe unterscheidet offenbar maßgeblich von der alltäglichen Programmier-Praxis, denn ChatGPT holt ausgerechnet im Informatik-Abitur die niedrigste Punktzahl in unserem Experiment.
Magere zwei Punkte würde Hermann Kees der Künstlichen Intelligenz geben. "Ich hatte erwartet, dass die ChatGPT bei den Modellierungs- und Programmieraufgaben Schwierigkeiten haben würde, und so kam es auch", erzählt der Informatiklehrer vom Josef-Bernhard-Gymnasium in Türkheim im Unterallgäu. Die KI sei noch ein gutes Stück davon entfernt, fehlerfreie Programme basierend auf Beschreibungen zu erstellen. Und: Interessanterweise habe die KI auf unterschiedliche Programmiersprachen zurückgegriffen, nämlich auf Python und Java.
"Ich hätte der ChatGPT bei den Reproduktionsaufgaben noch mehr zugetraut und erwartet, dass sie bei diesen Aufgaben ihre Punkte sammeln würde", so der Informatiklehrer. Doch leider ließ die KI hier Punkte liegen und scheitert somit kläglich beim Versuch, die Hochschulreife zu erlangen. Das liegt auch daran, dass ChatGPT immer wieder Antworten auf Fragen gibt, die niemand gestellt hat und Behauptungen aufstellt, aber darauf verzichtet, diese zu begründen.
"Allerdings muss man der KI zu Gute halten, dass sie nicht speziell auf das Abitur vorbereitet war, so wie Schüler, die im Vorfeld natürlich ähnliche Aufgaben lösen", findet Hermann Kees. "Sie hat es halt einfach mal aus dem Stand probiert, und dafür war es gar nicht so schlecht." Man müsse der KI eigentlich Respekt dafür zollen, dass sie unter diesen Umständen immerhin noch eine fünf geschrieben habe, so Kees.
💡 Wie schickt man eine KI zur Abi-Prüfung?
Damit ChatGPT beim bayerischen Abitur überhaupt antreten konnte, mussten wir die KI auf die Prüfungssituation vorbereiten. Viele Aufgaben waren beispielsweise zu lang für GPT3. Manche Antwort wiederum war zu kurz. Wir haben deswegen manche Fragen umformuliert oder häppchenweise beantworten lassen. Hier finden Sie einen detallierten Werkstattbericht.
"Im 15. Jahrhundert hatte das Heilige Römische Reich Deutscher Nation eine Bevölkerung von ungefähr 10 Millionen Menschen. Bis zum 18. Jahrhundert hatte sich die Bevölkerung auf ungefähr 20 Millionen Menschen verdoppelt": So beginnt die Antwort, die ChatGPT auf die erste Aufgabe im bayerischen Geschichts-Abitur gibt. In der geht es um die Bevölkerungsentwicklung im Heiligen Römische Reich Deutscher Nation. "Sehr vage, vereinfachend und pauschal formuliert", so das Urteil von Benjamin Pengler, Geschichtslehrer am Heinrich-Heine-Gymnasium in München.
Allerdings bearbeitet die KI eine der anderen Abi-Aufgaben, in der es um die Verantwortung der deutschen Bevölkerung am Holocaust geht, sehr viel gekonnter. "Es ist auffällig, wie die Leistungen innerhalb des Abiturs variieren", so Pengler. Das sei bei Schülern aus Fleisch und Blut anders. Insgesamt könnte die Künstliche Intelligenz mit 9 Punkten rechnen. Das ist eine gute drei und die KI hätte somit bestanden.
ChatGPTs Abi-Leistungen schwanken von Fach zu Fach. Viele bekannte KI-Probleme zeigen sich auch in unserem Experiment. "Sicheres Auftreten bei völlig Ahnungslosigkeit, nichts kann ChatGPT besser als das", konstatierte der Technikphilosoph Mads Pankow bereits im Dezember. Die Technikjournalistin Eva Wolfangel wiederum bezeichnete ChatGPT als "Sprachgewaltiges Plappermaul" und als "Gewohnheitslügner". Auch in unserem Test gibt sich ChatGPT selbstbewusst und schafft es, seine Ahnungslosigkeit exzellent zu kaschieren. Und ja: Das Programm schafft es, auf einfache Fragen gute Antworten zu geben, doch vor allem bei komplexen Aufgabenstellungen mit viele Zwischenschritten hat die KI Probleme. Und so heißt es für ChatGPT erst einmal: Nachsitzen.
ChatGPT - Schafft die KI das bayerische Abitur?
Die Berechtigungen sind derzeit so eingestellt, dass sie eingebettete Dienste blockieren, einschließlich dieser Einbettung von Factfox. Wenn Sie dies ändern möchten, klicken Sie auf die Schaltfläche unten.
Dieser Artikel ist erstmals am 9. Februar 2023 auf BR24 erschienen.
"Hier ist Bayern": Der BR24 Newsletter informiert Sie immer montags bis freitags zum Feierabend über das Wichtigste vom Tag auf einen Blick – kompakt und direkt in Ihrem privaten Postfach. Hier geht’s zur Anmeldung!
Sendung
Thema des Tages vom 09.02.2023 - 07:20 Uhr
Das könnte sie auch interessieren
Künstliche Intelligenz macht gerade einen Riesensprung. Das Programm ChatGPT spuckt sogar seitenlange Aufsätze blitzschnell aus. An Bayerns Schulen überlegt man fieberhaft, wie das den Unterricht verändert und wie man Ungerechtigkeiten vermeidet.
Tief unter unseren Füßen befindet sich der Erdkern. Nun erfährt man mancherorten: Dieser Kern habe aufgehört, sich zu drehen. Was wirklich dahintersteckt.
Knapp eine Woche nach den Erdbeben im türkisch-syrischen Grenzgebiet ist die Zahl der Toten auf mehr als 35.000 gestiegen. Die türkische Justiz geht gegen Bauunternehmer vor. Die Vereinten Nationen räumen Versäumnisse in Syrien ein.
Einem Bericht des Reporters Seymour Hersh zufolge sind US-Marinetaucher für die Sprengung der Nord-Stream-Gaspipelines in der Ostsee verantwortlich. "Völlig falsch", heißt es dazu aus Washington.
Die türkische Stadt Adana liegt am Rande des Erdbebengebiets und hat einen Flughafen, der funktioniert. Flugtickets in die Region sind nahezu ausverkauft. Dennoch versuchen viele Menschen dorthin zu kommen. Ein Bericht aus dem Erdbebengebiet.
Ein Test ergibt: Die Künstliche Intelligenz ChatGPT würde vermutlich am ehesten die Grünen wählen – wenn sie in Deutschland das Wahlrecht hätte. Die politischen Ansichten des Chatbots sind unter Experten jedoch umstritten – und ihre Herkunft unklar.
Das regionale Stromnetz in Bayern ist vielerorts an seiner Kapazitätsgrenze. Der Grund: der große Zubau an Photovoltaikanlagen. Im Nördlinger Ries können deshalb schon mittelgroße Photovoltaik-Anlagen nicht mehr ans Netz gehen.
Was müssen Medien Künstlicher Intelligenz voraus haben, um im Wettbewerb um die Aufmerksamkeit der Menschen zu bestehen? Sie sollten individueller sein und Hintergründe besser erklären. Sie müssen Identität, Nähe und Wärme bieten. Eine Analyse.
Pac-Man auf dem Wetten, dass..?-Sofa, Godzilla als Wiesn-Wirtin oder ein Corona-Virus auf einer Cocktail-Party: Text-zu-Bild-Generatoren malen in Sekundenschnelle, was wir wollen. Doch was bedeutet das für Künstler und Designer?
Microsoft hat am Dienstagabend deutscher Zeit an seinem Firmensitz in Seattle eine überarbeitete Version seiner Suchmaschine "Bing" vorgestellt. Mit Hilfe von "ChatGPT" will das Softwareunternehmen jetzt vor allem einen anderen Konzern herausfordern…
Besser lernen, besser verstehen und besser leben: ARD alpha macht euch fit für Schule, Ausbildung, Uni, Beruf - und euren Alltag. Wir bieten euch Lernangebote sowie Hintergrundwissen und Tipps, die euch weiterbringen.
Alle Videos und Livestreams in der BR Mediathek anschauen - immer und überall. Filme, Serien, Dokus, Reportagen, Magazine, Krimis und vieles mehr.
Argentinien sieht sich als traditionelles Einwanderungsland. Dass jetzt Tausende hochschwangere Frauen aus Russland dort ankommen, macht die Behörden allerdings misstrauisch. Inzwischen wurden Ermittlungen eingeleitet.