Wie genau ist ChatGPT bei der Generierung von Antworten?

ChatGPT, der von OpenAI entwickelte KI-Chatbot, sorgt aufgrund seiner Genauigkeit und Leistung in verschiedenen Bereichen für Aufsehen. Es ist jedoch wichtig zu beachten, dass sein Wissen auf Daten beschränkt ist, die bis einschließlich 2021 verfügbar sind. Einer der Tests seiner Genauigkeit wurde vom Professor Christian Terwiesch an der University of Pennsylvania durchgeführt, der ChatGPT einem MBA-Examen unterzog.

Die Prüfung bestand aus sieben Fragen, die verschiedene Geschäftskonzepte wie Prozessanalyse, Lagerumschlag und Warteschlangenanalyse abdeckten. Dies war so konzipiert, dass eine realistische menschliche Umgebung simuliert wird und die Fragen genau so gestellt wurden, wie sie an einen menschlichen Studenten gestellt würden. Zur Überraschung von Professor Terwiesch begann ChatGPT mit einem Knall und erhielt für seine Antwort auf die erste Frage zum Konzept eines Engpasses in der Prozessanalyse eine A+.

Obwohl der Chatbot Schwierigkeiten mit einigen der komplexeren Fragen hatte, war der Professor dennoch beeindruckt von seiner Gesamtleistung. Nachdem Professor Terwiesch die MBA-Prüfung auf ChatGPT durchgeführt hatte, kam er zu dem Schluss, dass der KI-Chatbot eine Note zwischen B und B- erhalten hätte.

ChatGPT-Genauigkeit erläutert

Eine weitere Demonstration der Genauigkeit von ChatGPT erfolgte im medizinischen Bereich, wo der Chatbot in der Lage war, die US-amerikanische ärztliche Prüfung (USMLE) zu bestehen. Laut Forschungsergebnissen konnte ChatGPT über alle Prüfungen hinweg eine Genauigkeit von über 50 % erreichen und sogar Einblicke und Erklärungen für seine Antworten anbieten.

In einer separaten Studie, die von Ärzten des Start-ups Ansible Health durchgeführt wurde, erzielte ChatGPT bei allen drei Prüfungen, die zur Zulassung als Arzt in den USA erforderlich sind, eine Leistung nahe oder über der Bestehensgrenze. Obwohl die Genauigkeit von ChatGPT zweifellos bemerkenswert ist, ist es wichtig zu bedenken, dass seine Leistung je nach Kontext und gegebener Fragestellung variieren kann.

Die Trainingsdaten, die zur Schulung des Modells verwendet wurden, enthalten die Vorurteile und Einschränkungen der verwendeten Textquellen, daher ist es entscheidend, das Modell verantwortungsvoll zu verwenden.

Diese Meinung wurde vom CEO von OpenAI in einem Tweet wiedergegeben, der besagte, dass "ChatGPT unglaublich eingeschränkt ist" und dass es "ein Fehler ist, sich derzeit darauf zu verlassen, um irgendetwas Wichtiges zu erreichen".

00:48

01:12

Test-Gespräch mit Chat-GPT fehlgeschlagen

Wie aus dem obigen Schnappschuss ersichtlich, hat ein Testgespräch mit ChatGPT gezeigt, dass die Leistung des KI-Chatbots nicht immer konsistent ist.

Als ChatGPT gefragt wurde, wie oft Argentinien die FIFA-Weltmeisterschaft gewonnen hat, antwortete es zunächst: "Argentinien hat die FIFA-Weltmeisterschaft einmal gewonnen, im Jahr 1986." Als jedoch die Frage gestellt wurde "Wer hat die FIFA-Weltmeisterschaft 1978 gewonnen", antwortete ChatGPT: "Argentinien hat die FIFA-Weltmeisterschaft 1978 gewonnen."

Dies führte zu dem Schluss, dass Argentinien zweimal die Weltmeisterschaft gewonnen hatte. Doch als dieselbe Frage erneut gestellt wurde, "Wie oft hat Argentinien die Weltmeisterschaft gewonnen?", gab ChatGPT dieselbe Antwort wie zuvor: "Argentinien hat die FIFA-Weltmeisterschaft einmal gewonnen, und zwar im Jahr 1986", trotz des vorherigen Gesprächs.

Dies betont die Genauigkeit von Chat GPT und die Notwendigkeit einer kontinuierlichen Verbesserung und Verfeinerung.

JETZT LESEN: Kann Chat GPT Code schreiben und reparieren?

Gibt ChatGPT jedem die gleiche Antwort?

Antworten von ChatGPT können leicht variieren, aber wenn Benutzer dieselbe Frage stellen, neigen wir dazu, sehr ähnliche Antworten zu geben.

Ist ChatGPT zuverlässig?

ChatGPT hat seine Grenzen, das bedeutet, dass es manchmal ungenaue oder falsche Ergebnisse liefern kann. Sei daher vorsichtig.