ChatGPT besitzt eine überraschende Fähigkeit. Wenn Sie auf die Schaltfläche „Antwort neu generieren“ klicken, schlägt ChatGPT eine brandneue Antwort vor. Zumindest auf den ersten Blick. Denn in Wirklichkeit zeigen die in diesem Artikel veröffentlichten Ergebnisse, dass ChatGPT sich sehr oft wiederholt. So sehr, dass sogar die Antworten auf verschiedene Fragen gleich aussehen! Dies bestätigt die erste Studie, die wir zu diesem Thema veröffentlicht haben. Heute zeigen wir außerdem, dass die Antworten umso ähnlicher sind, je ungenauer Ihre Anfrage an ChatGPT ist. Die Ähnlichkeitsrate erreicht im Durchschnitt 77,91%.
Die Daten wurden für dieses Projekt mit der ETL-Lösung von Timi aufbereitet und angereichert: Anatella. Die Visualisierung der Daten wurde mit Tableau durchgeführt.
Was können wir aus dieser Untersuchung über die Funktionsweise von ChatGPT lernen?
- 505,1 Wörter: die durchschnittliche Länge der 1000 von ChatGPT produzierten Texte, basierend auf einer Ziellänge von 500 Wörtern.
- 1%: die Einhaltung der angegebenen Daten durch ChatGPT in Bezug auf die Textlänge
- Die von ChatGPT mit minimalen Anweisungen produzierten Texte ähneln sich signifikant mehr (77,91%) als wenn detailliertere Anweisungen gegeben werden (73,17%)
- Wenn die ChatGPT gegebenen Anweisungen wenig detailliert sind, sind die Antworten auf verschiedene Fragen ähnlicher (65,44%) als wenn detaillierte Anweisungen gegeben werden (60,93%)
- Unabhängig von der Frage zeigt ChatGPT eine überraschende Fähigkeit, ähnliche Antworten zu produzieren, wenn Sie das Tool bitten, seine Antwort neu zu generieren (zwischen 76,02% und 80,04% durchschnittliche Ähnlichkeit je nach Frage). Rechnen Sie also damit, dass Sie von einer Regeneration zur nächsten nur teilweise unterschiedliche Antworten erhalten.
Methodik
Ich habe ChatGPT 20 Fragen gestellt. Für jede Frage bat ich das Programm, die Antwort 50 Mal neu zu generieren, was 50 Iterationen entspricht. Ich habe also 1000 Antworten analysiert.
Hier ist ein Beispiel.
Um eine neue Antwort zu generieren, klicken Sie auf die Schaltfläche unten:
Die Fragen waren alle identisch in der Form:
Schreibe mir einen SEO-optimierten Artikel von 500 Wörtern über „SCHLÜSSELWORT“.
Nur das „Schlüsselwort“ unterschied sich von einer Serie zur anderen. Die Liste der Schlüsselwörter finden Sie am Ende dieses Artikels.
Letztendlich wurden 20 Fragen x 50 Iterationen = 1000 Texte analysiert.
Nachdem die Daten aus ChatGPT extrahiert worden waren, wurden sie mit einer ETL-Software aufbereitet. Für die Datenaufbereitung verwende ich ausschließlich Anatella, das beste Programm in dieser Kategorie (siehe hier meine Ratschläge für die Auswahl einer ETL-Software). Die Datenvisualisierung wurde mit Tableau durchgeführt.
ChatGPT beachtet die Anweisungen zur Länge des Textes
Die erste Erkenntnis aus dieser Untersuchung ist, dass ChatGPT die Anweisungen bezüglich der Wortanzahl relativ gut befolgt. Von den 1000 produzierten Texten lag die durchschnittliche Anzahl der Wörter pro Text bei 505,1. Das ist eine unglaubliche Leistung, denn es bedeutet, dass die an ChatGPT gegebenen Daten mit einer Toleranz von kaum 1% eingehalten werden. Ersteller von Inhalten werden begeistert sein, denn sie können damit auf einfachste Weise generische Inhalte für ihre Websites erstellen.
Das sehen Sie in der untenstehenden Grafik mit der lila Linie. Die Balken zeigen die durchschnittliche Abweichung von einer Iteration zur nächsten. Zwischen der ersten und der zweiten Iteration sind es beispielsweise 24 Wörter weniger.
In unserem vorherigen Experiment haben wir ChatGPT keine Anweisungen bezüglich der Länge des Textes gegeben. Der Durchschnitt lag bei 253,7 Wörtern mit Toleranzen von +8,3%/-7,6%. Wir können daher die Hypothese aufstellen, dass die Materialisierung des Ziels in den Anweisungen an ChatGPT es uns ermöglicht, ein viel genaueres Ergebnis zu erzielen.
77.9% Ähnlichkeit: ChatGPT-Antworten auf dieselbe Frage sind sehr ähnlic
In unserer ersten Untersuchung ermittelten wir eine Ähnlichkeitsrate von 72%. Dann erteilten wir ChatGPT genaue Anweisungen bezüglich der zu produzierenden Textstruktur. Wenn wir vage Anweisungen geben, steigt die durchschnittliche Ähnlichkeitsrate auf 77,9 %.
Die Heatmap unten zeigt die durchschnittliche Ähnlichkeitsrate zwischen den 2 Iterationen. Mit anderen Worten: Jedes farbige Quadrat zeigt an, wie ähnlich das von ChatGPT erzeugte Ergebnis zwischen 2 Iterationen ist. Die Ähnlichkeitsrate wurde dank Anatella (mein Lieblings-ETL 😀 ) mit Hilfe der Sorensen-Dice-Methode berechnet. Es gibt viele andere Methoden, aber diese Methode liefert hervorragende Ergebnisse (siehe hier einen Vergleich von 4 Fuzzy-Matching-Algorithmen, die nativ in Anatella verfügbar sind).
Natürlich ist es auch möglich, die Ergebnisse für jede der 20 gestellten Fragen darzustellen. Das habe ich unten getan. Sie werden feststellen, dass die Durchschnittswerte für jeden Satz sehr nahe beieinander liegen. Das bedeutet, dass das Ergebnis, wenn Sie ChatGPT bitten, den Text neu zu generieren, im Durchschnitt sehr nahe am vorherigen Ergebnis liegt, und zwar unabhängig von der Frage. Dies verhindert jedoch nicht einige Unfälle (zum Beispiel die Serien M und R). In diesen 2 Fällen zeigt eine genauere Analyse, dass ChatGPT zwischen 2 aufeinanderfolgenden Iterationen 2 Texte von sehr unterschiedlicher Länge (200 Wörter Unterschied) produziert hat. Die Ähnlichkeitsrate wird dadurch zwangsläufig beeinträchtigt.
Woraus können wir aus diesen Diagrammen lernen? Dass ChatGPT erstaunlich stabil ist, wenn Sie das Programm bitten, eine Antwort zu generieren. Auch wenn der Text, den es vorschlägt, anders zu sein scheint, sind es am Ende doch nur dieselben Wörter in einer anderen Reihenfolge. Ich karikiere ein wenig, aber das ist der Sinn der Ergebnisse.
65.44% Ähnlichkeit zwischen den Antworten auf verschiedene Fragen
Die letzte Analyse, die wir durchgeführt haben, diente der Untersuchung der Ähnlichkeit der Antworten auf verschiedene Fragen. Mit anderen Worten: Wir berechneten die durchschnittliche Ähnlichkeit zwischen allen Antworten auf Frage A und allen Antworten auf Frage B. Und anschließend wiederholten wir diese Queranalyse für jede Frage.
Die Aufgabe war einfach, stellte aber aufgrund der Einschränkungen der Visualisierungssoftware (Tableau) einige technische Herausforderungen dar. Mit Anatella konnte ich die Probleme umgehen, indem ich die Daten außerhalb von Tableau aufbereitete (und zwar sehr schnell, wie ich hier bereits gezeigt habe). Das Ergebnis wird wiederum als Heatmap dargestellt (siehe unten).
Die Ergebnisse sprechen für sich selbst. Die durchschnittliche Ähnlichkeit zwischen den Fragen beträgt 65,44%. Mit anderen Worten: Die ChatGPT-Antworten auf verschiedene Fragen sind zu 2/3 ähnlich. Natürlich war der Wortlaut der verschiedenen Fragen derselbe, aber dieses Ergebnis ist dennoch faszinierend. Die gestellte Frage ist ziemlich knapp gehalten und enthält außer der Anzahl der Wörter keine weiteren Anweisungen. Obwohl die Themen unterschiedlich sind, stammen die Antworten von ChatGPT aus dem gleichen Schema.
Dies sollte Sie ermutigen, Ihre Anfragen an ChatGPT sehr detailliert zu formulieren. Je spezifischer Sie sind, desto wahrscheinlicher ist es, dass Sie einzigartige, sich nicht wiederholende Antworten erhalten.
Prozess der Datenumwandlung
Die gesamte Datenaufbereitung wurde mit Anatella durchgeführt. Dabei handelt es sich um eine ETL-Softwarelösung (Extract – Transform – Load). Mit einer ETL-Lösung können Sie Daten extrahieren, sie umwandeln (Korrekturen, Anreicherung, …) und sie in eine andere Software einspeisen.
Die Gründe, die mich dazu bewogen haben, Anatella für dieses Projekt zu wählen, sind 3:
- Geschwindigkeit (siehe einen Benchmark hier):
- verfügbare Tools für die Berechnung der Ähnlichkeit
- die Reaktivität des Redakteurs (Timi), der mir eine maßgeschneiderte Entwicklung vorschlug, um einen Bedarf zu decken, der nicht abgedeckt war
Unter Anatella wurden drei verschiedene Datenaufbereitungsabläufe erstellt. Jeder Ablauf ermöglichte es mir, weitere Analysen durchzuführen und die ChatGPT-Antworten anders zu untersuchen.
Ablauf 1: Berechnung von Ähnlichkeiten innerhalb einer Serie
In diesem ersten Ablauf berechne ich die Ähnlichkeiten zwischen den einzelnen Iterationen nacheinander. Anatella hat dafür eine gebrauchsfertige Funktion. Sie ist sehr praktisch und Sie müssen die Felder für das gewünschte Ergebnis zusammenstellen.
Ablauf 2: Berechnen der Ähnlichkeiten zwischen den einzelnen Textpaaren
Für diesen Vorgang hat mir das Unternehmen Timi eine benutzerdefinierte Funktion zur Verfügung gestellt. Es handelt sich um ein „Feld“, mit dem man die Ähnlichkeiten zwischen den einzelnen Texten auf einmal berechnen kann. Dias Feld ermöglicht es also, 1.000.000 Ähnlichkeiten (1000 Spalten x 1000 Zeilen) in nur einer Zeit zu berechnen.
Ein äußerst wichtiger technischer Punkt betrifft das Einlesen der Daten in Tableau. Tableau kann nur 700 Spalten verarbeiten. Es ist daher unmöglich, diese Daten direkt in Tableau zu drehen. Daher war der Einsatz von Anatella eine sehr wertvolle Hilfe, die für den Erfolg des Projekts unerlässlich war.
Fluss 3: Berechnung der Ähnlichkeit zwischen Serien
Mit dem letzten Ablauf können wir die Ähnlichkeit zwischen den Antworten auf die verschiedenen Fragen berechnen.
Liste der Themen
Hier ist die Liste der Themen, die ich ChatGPT vorgelegt habe.
| Referenz | Thema |
| A | Aktivierungsmarketing |
| B | Astroturfing |
| C | Gender marketing |
| D | Marketing als Dienstleistung |
| E | Marketing-Automatisierung |
| F | Emoji marketing |
| G | Reaktives Marketing |
| H | Straßenmarketing |
| I | Net Promoter Score |
| J | Kundenerlebnis |
| K | Kunden-Lebensdauer-Wert |
| L | Markensicherheit |
| M | Prominenten-Marketing |
| N | Buzz-marketing |
| O | Aufforderung zum Handeln |
| P | Newsjacking |
| Q | Mikroblogging |
| R | Soziales CRM |
| S | Planung sozialer Medien |
| T | Abwanderungsrate |
Posted in Forschung.
