11 Nachteile von ChatGPT-Inhalten

Höhepunkte

• Warum schlechter ChatGPT-Inhalt die menschliche Überprüfung besteht.
• ChatGPT ist umfassend, auch wenn es knapp sein sollte.
• Professor zitiert einen Fehler, der von ChatGPT generierte Essays ruiniert.
• ChatGPT fällt beim fiktiven Voight-Kampff-Androiden-Erkennungstest durch und der überraschende Grund, warum das wichtig ist.

ChatGPT produziert Inhalte , die umfassend und plausibel genau sind.

Aber Forscher, Künstler und Professoren warnen vor Mängeln, die die Qualität des Inhalts beeinträchtigen können.

In diesem Artikel werden wir uns 11 Nachteile von ChatGPT-Inhalten ansehen. Tauchen wir ein.

1. Verwendung von Phrasen lässt es als Nichtmenschliches erkennbar werden

Forscher, die untersuchen, wie maschinengenerierter Inhalt erkannt werden kann, haben Muster entdeckt, die unnatürlich klingen lassen.

Eine dieser Eigenarten ist, wie KI mit Redewendungen kämpft.

Ein Idiom ist eine Redewendung oder ein Sprichwort mit einer daran angehängten figurativen Bedeutung, zum Beispiel "Jeder Wolke hat einen Silberstreifen am Horizont".

Ein Mangel an Redewendungen innerhalb eines Inhalts kann ein Signal dafür sein, dass der Inhalt maschinell erstellt wurde - und dies kann Teil eines Erkennungsalgorithmus sein.

Das steht in der Forschungsarbeit Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers aus dem Jahr 2022 zu diesem Phänomen von maschinell generierten Inhalten:

"Komplexe Phrasal-Merkmale basieren auf der Häufigkeit bestimmter Wörter und Phrasen im analysierten Text, die in menschlichem Text häufiger vorkommen.

...Von diesen komplexen phrasalen Merkmalen behalten Idiom-Merkmale die größte Vorhersagekraft bei der Erkennung aktueller generativer Modelle. "

Diese Unfähigkeit, Redewendungen zu verwenden, trägt dazu bei, dass die ChatGPT-Ausgabe unnatürlich klingt und liest.

2. ChatGPT fehlt die Fähigkeit zur Ausdrucksweise

Ein Künstler kommentierte, dass die Ausgabe von ChatGPT das widerspiegelt, was Kunst ist, aber nicht die tatsächlichen Qualitäten künstlerischen Ausdrucks besitzt.

Ausdruck ist die Art und Weise, Gedanken oder Gefühle zu kommunizieren.

Die ChatGPT-Ausgabe enthält keine Ausdrücke, sondern nur Wörter.

Es kann keinen Inhalt produzieren, der die Menschen emotional auf dieselbe Ebene berührt wie ein Mensch, weil es keine tatsächlichen Gedanken oder Gefühle hat.

Der Musikkünstler Nick Cave äußerte sich in einem Artikel, der in seinem Newsletter Red Hand Files veröffentlicht wurde, zu einem ChatGPT-Liedtext, der im Stil von Nick Cave verfasst wurde.

Neues AI-betriebenes Content-Marketing-Toolkit
Nutzen Sie nächste Generation Technologie, bevor es Ihre Konkurrenz macht. Erstellen Sie gut optimierten und zielgerichteten Inhalt, der Ergebnisse dreimal schneller liefert.

Er schrieb:

"Was einen großartigen Song ausmacht, ist nicht seine starke Ähnlichkeit mit einem erkennbaren Werk.

...es ist die atemlose Konfrontation mit der eigenen Verletzlichkeit, der eigenen Gefährdung, der eigenen Kleinheit, die gegenüber einem Gefühl plötzlicher schockierender Entdeckung steht; es ist die erlösende künstlerische Handlung, die das Herz des Zuhörers bewegt, indem der Zuhörer in den inneren Mechanismen des Liedes sein eigenes Blut, seinen eigenen Kampf, sein eigenes Leiden erkennt."

Cave bezeichnete die ChatGPT-Lyrics als Spott.

Dies ist der ChatGPT-Liedtext, der einem Nick-Cave-Liedtext ähnelt:

„Ich habe das Blut von Engeln an meinen Händen
Ich habe das Feuer der Hölle in meinen Augen
Ich bin der König des Abgrunds, ich bin der Herrscher der Dunkelheit
Ich bin derjenige, vor dem sie sich fürchten, und in den Schatten lauschen sie”

Und dies ist ein tatsächlicher Nick-Cave-Text (Brother, My Cup Is Empty):

„Ich bin auf Regenbogen gerutscht,
habe an den Sternen geschwungen
jetzt schlägt dieser Wicht im Bettler-Look
seinen Becher gegen die Gitterstäbe
Sieh her, dieser Becher von mir ist leer!
Es scheint, ich habe meine Wünsche verlegt
Es scheint, ich kehre die Asche meiner vergangenen Feuer zusammen.“

Es ist leicht zu erkennen, dass der maschinell generierte Liedtext dem des Künstlers ähnelt, aber er vermittelt nicht wirklich etwas.

Die Texte von Nick Cave erzählen eine Geschichte, die mit dem Pathos, Verlangen, Scham und willentlichen Täuschungen der Person im Lied mitschwingt. Sie drücken Gedanken und Gefühle aus.

Es ist leicht nachvollziehbar, warum Nick Cave es eine Verhöhnung nennt.

3. ChatGPT liefert keine Erkenntnisse

Ein von The Insider veröffentlichter Artikel zitierte einen Akademiker, der darauf hinwies, dass akademische Aufsätze, die von ChatGPT generiert werden, keine Erkenntnisse zum Thema bieten.

ChatGPT fasst das Thema zusammen, bietet jedoch keinen einzigartigen Einblick in das Thema.

Menschen schaffen durch Wissen, aber auch durch ihre persönlichen Erfahrungen und subjektiven Wahrnehmungen.

Professor Christopher Bartel von der Appalachian State University wird von The Insider zitiert, in dem er sagt, dass ein ChatGPT-Aufsatz zwar eine hohe Grammatikqualität und anspruchsvolle Ideen aufweisen kann, aber dennoch an Erkenntnis fehlt.

Bartel sagte:

"Sie sind wirklich flauschig. Es gibt keinen Kontext, keine Tiefe oder Erkenntnis."

Ein tieferer Einblick ist das Markenzeichen eines gut geschriebenen Aufsatzes, und das ist etwas, worin ChatGPT nicht besonders gut ist.

Dieses mangelnde Verständnis ist etwas, das man im Hinterkopf behalten sollte, wenn man maschinengenerierten Inhalt bewertet.

4. ChatGPT ist zu wortreich

Eine im Januar 2023 veröffentlichte Forschungsarbeit entdeckte Muster im ChatGPT-Inhalt, die ihn weniger geeignet für kritische Anwendungen machen.

Das Papier trägt den Titel "Wie nah ist ChatGPT an menschlichen Experten? Vergleichskorpus, Bewertung und Erkennung."

Die Forschung hat gezeigt, dass die Antworten von ChatGPT bei mehr als 50% der Fragen aus den Bereichen Finanzen und Psychologie bevorzugt wurden.

Aber ChatGPT scheiterte daran, medizinische Fragen zu beantworten, weil die Menschen direkte Antworten bevorzugten - etwas, das die KI nicht liefern konnte.

Die Forscher schrieben:

"...ChatGPT zeigt in Bezug auf die Nützlichkeit im medizinischen Bereich sowohl in Englisch als auch in Chinesisch eine schlechte Leistung."

Das ChatGPT gibt in unserem gesammelten Datensatz oft ausführliche Antworten auf medizinische Beratungen, während menschliche Experten direkt klare Antworten oder Vorschläge geben können, was teilweise erklären könnte, warum Freiwillige menschliche Antworten im medizinischen Bereich für hilfreicher halten.

ChatGPT neigt dazu, ein Thema aus verschiedenen Blickwinkeln zu behandeln, was unangemessen ist, wenn die beste Antwort direkt ist.

Marketer, die ChatGPT verwenden, sollten darauf achten, dass Seitenbesucher, die eine direkte Antwort benötigen, mit einer ausführlichen Webseite nicht zufrieden sind.

Und viel Glück beim Ranking einer übermäßig langen Seite in den ausgewählten Snippets von Google, wo eine prägnante und klar formulierte Antwort, die gut in Google Voice funktionieren kann, bessere Chancen hat, zu ranken als eine langatmige Antwort.

OpenAI, der Hersteller von ChatGPT, gibt zu, dass das Geben von ausführlichen Antworten eine bekannte Einschränkung ist.

Der Ankündigungsartikel von OpenAI sagt:

"Das Modell ist oft unnötig ausführlich..."

Bei der Verwendung von ChatGPT-Ergebnissen ist darauf zu achten, dass ChatGPT dazu neigt, sehr ausführliche Antworten zu geben. Es kann Situationen geben, in denen kürzere und direktere Antworten besser sind.

5. ChatGPT-Inhalte sind hoch organisiert und logisch aufgebaut

ChatGPT hat einen Schreibstil, der nicht nur ausführlich ist, sondern auch tendenziell einer Vorlage folgt, die dem Inhalt einen einzigartigen Stil verleiht, der nicht menschlich ist.

Diese unmenschliche Qualität zeigt sich in den Unterschieden zwischen der Art und Weise, wie Menschen und Maschinen Fragen beantworten.

Der Film Blade Runner hat eine Szene, in der eine Reihe von Fragen gestellt werden, die dazu dienen, herauszufinden, ob die Person, die die Fragen beantwortet, ein Mensch oder ein Android ist.

Diese Fragen waren Teil eines fiktiven Tests namens "Voigt-Kampff-Test".

Eine der Fragen lautet:

"Du schaust fernsehen. Plötzlich bemerkst du, dass eine Wespe auf deinem Arm krabbelt. Was tust du?"

Eine normale menschliche Reaktion wäre, etwas zu sagen wie: Sie würden schreien, rausgehen und danach schlagen, und so weiter.

Aber als ich diese Frage an ChatGPT stellte, bot es eine sorgfältig organisierte Antwort an, die die Frage zusammenfasste und dann logische mögliche Ergebnisse anbot - ohne die eigentliche Frage zu beantworten.

Screenshot eines ChatGPT, der eine Voight-Kampff-Testfrage beantwortet

Die Antwort ist sehr organisiert und logisch, was ihr ein sehr unnatürliches Gefühl verleiht, was unerwünscht ist.

6. ChatGPT ist zu detailliert und umfassend

ChatGPT wurde so trainiert, dass die Maschine belohnt wurde, wenn die Menschen mit der Antwort zufrieden waren.

Die menschlichen Bewerter bevorzugten in der Regel Antworten, die mehr Details enthielten.

Aber manchmal ist eine direkte Antwort, wie zum Beispiel im medizinischen Kontext, besser als eine umfassende.

Das bedeutet, dass die Maschine angewiesen werden muss, weniger umfassend und direkter vorzugehen, wenn diese Eigenschaften wichtig sind.

Von OpenAI:

"Diese Probleme entstehen durch Voreingenommenheiten in den Trainingsdaten (Trainer bevorzugen längere Antworten, die umfassender aussehen) und bekannte Überoptimierungsprobleme."

7. ChatGPT Lügen (Halluziniert Fakten)

Die oben zitierte Forschungsarbeit "How Close is ChatGPT to Human Experts?" stellt fest, dass ChatGPT dazu neigt zu lügen.

Es meldet:

"Wenn bei der Beantwortung einer Frage, die fachkundiges Wissen aus einem bestimmten Bereich erfordert, ChatGPT Fakten erfinden kann, um eine Antwort zu geben…

Zum Beispiel könnte ChatGPT in rechtlichen Fragen einige nicht vorhandene Rechtsvorschriften erfinden, um die Frage zu beantworten.

...Darüber hinaus kann ChatGPT bei einer vom Benutzer gestellten Frage, für die es keine existierende Antwort gibt, auch Fakten erfinden, um eine Antwort bereitzustellen. "

Die Website Futurism dokumentierte Fälle, in denen maschinengenerierte Inhalte auf CNET falsch und voller "dummer Fehler" waren.

CNET sollte eine Vorstellung gehabt haben, dass dies passieren könnte, weil OpenAI eine Warnung über fehlerhafte Ausgabe veröffentlicht hat:

„ChatGPT gibt manchmal plausible Antworten, die jedoch falsch oder unsinnig sein können.“

CNET gibt an, die maschinell generierten Artikel vor der Veröffentlichung einer menschlichen Überprüfung unterzogen zu haben.

Ein Problem bei der menschlichen Überprüfung besteht darin, dass der Inhalt von ChatGPT so konzipiert ist, dass er überzeugend korrekt klingt, was einen Überprüfer täuschen kann, der kein Experte auf diesem Gebiet ist.

8. ChatGPT ist unnatürlich, da es nicht divergent ist.

Die Forschungsarbeit "Wie nah ist ChatGPT an menschlichen Experten?" stellte außerdem fest, dass menschliche Kommunikation indirekte Bedeutungen haben kann, die einen Themenwechsel erfordern, um sie zu verstehen.

ChatGPT ist zu wortwörtlich, was dazu führen kann, dass die Antworten manchmal das Ziel verfehlen, da die künstliche Intelligenz das eigentliche Thema übersieht.

Die Forscher schrieben:

"ChatGPT antwortet in der Regel streng auf die gestellte Frage, während die von Menschen divergent und leicht auf andere Themen verschoben werden können."

In Bezug auf die Vielfalt des Inhalts sind Menschen in verschiedenen Aspekten divergenter, während ChatGPT sich auf die Frage selbst konzentriert.

Menschen können die versteckte Bedeutung unter der Frage aufgrund ihres eigenen gesunden Menschenverstandes und Wissens beantworten, aber ChatGPT verlässt sich auf die wörtlichen Worte der vorliegenden Frage…”

Menschen können besser von der wörtlichen Frage abweichen, was wichtig ist, um Fragen wie "Was ist mit" zu beantworten.

Zum Beispiel, wenn ich frage:

"Pferde sind zu groß, um Haustiere zu sein. Was ist mit Waschbären?"

Die obige Frage fragt nicht, ob ein Waschbär ein geeignetes Haustier ist. Die Frage bezieht sich auf die Größe des Tieres.

ChatGPT konzentriert sich auf die Eignung des Waschbären als Haustier, anstatt sich auf die Größe zu konzentrieren.

Screenshot einer überwörtlichen ChatGPT-Antwort

9. ChatGPT ist darauf ausgerichtet, neutral zu bleiben

Die Ausgabe von ChatGPT ist im Allgemeinen neutral und informativ. Eine Voreingenommenheit in der Ausgabe kann hilfreich erscheinen, ist es aber nicht immer.

Die von uns diskutierte Forschungsarbeit stellte fest, dass Neutralität bei rechtlichen, medizinischen und technischen Fragen eine unerwünschte Eigenschaft ist.

Menschen neigen dazu, bei der Abgabe dieser Art von Meinungen eine Seite zu wählen.

10. ChatGPT ist darauf ausgerichtet, förmlich zu sein

Die ChatGPT-Ausgabe hat eine Tendenz zur Formalität und vermeidet umgangssprachliche Ausdrücke.

Menschen hingegen neigen dazu, Fragen in einem umgangssprachlichen Stil zu beantworten, indem sie Alltagssprache und Slang verwenden – das Gegenteil von Formalität.

ChatGPT verwendet keine Abkürzungen wie GOAT oder TL;DR.

Die Antworten enthalten auch keine Ironie, Metaphern und Humor, die den Inhalt von ChatGPT für einige Inhaltstypen zu formell machen können.

Die Forscher schreiben:

"...ChatGPT verwendet gerne Konjunktionen und Adverbien, um einen logischen Gedankengang zu vermitteln, wie zum Beispiel "Im Allgemeinen", "Auf der anderen Seite", "Erstens,..., Zweitens,..., Schließlich" und so weiter.

11. ChatGPT befindet sich immer noch in der Ausbildung

ChatGPT befindet sich derzeit noch im Prozess der Schulung und Verbesserung.

OpenAI empfiehlt, dass alle Inhalte, die von ChatGPT generiert wurden, von einem Menschen überprüft werden sollten und nennt dies eine bewährte Praxis.

OpenAI schlägt vor, Menschen mit einzubeziehen:

"Wo immer möglich, empfehlen wir, dass Ausgaben vor ihrer praktischen Anwendung von einem Menschen überprüft werden."

Dies ist insbesondere in Bereichen mit hohen Einsätzen und für Code-Generierung kritisch.

Menschen sollten sich der Grenzen des Systems bewusst sein und Zugang zu allen Informationen haben, die zur Überprüfung der Ergebnisse benötigt werden. Wenn die Anwendung beispielsweise Notizen zusammenfasst, sollte ein Mensch einfachen Zugriff auf die Originalnotizen haben, um auf sie zurückgreifen zu können.

Unerwünschte Eigenschaften von ChatGPT

Es ist klar, dass es viele Probleme mit ChatGPT gibt, die es ungeeignet für die unüberwachte Generierung von Inhalten machen. Es enthält Verzerrungen und schafft keinen Inhalt, der sich natürlich anfühlt oder echte Einsichten enthält.

Außerdem macht seine Unfähigkeit, zu fühlen oder originelle Gedanken zu verfassen, es zu einer schlechten Wahl für die Erzeugung künstlerischer Ausdrücke.

Benutzer sollten detaillierte Anweisungen befolgen, um Inhalte zu generieren, die besser sind als die Standardinhalte, die normalerweise ausgegeben werden.

Zuletzt ist die menschliche Überprüfung von maschinengenerierten Inhalten nicht immer ausreichend, da ChatGPT-Inhalte so konzipiert sind, dass sie korrekt erscheinen, auch wenn sie es nicht sind.

Das bedeutet, dass es wichtig ist, dass menschliche Gutachter Fachleute sind, die zwischen korrektem und fehlerhaftem Inhalt zu einem bestimmten Thema unterscheiden können.