Die Durchführung von Marktforschungsprojekten mit ChatGPT hat sich für viele Studierende und Berufstätige zu einer wichtigen Methode entwickelt. Die Nutzung von ChatGPT für die Marktforschung ist allerdings mit Risiken verbunden und wirft viele Fragen auf. Sind die von ChatGPT bereitgestellten Daten korrekt? Sind sie vollständig? Beantwortet ChatGPT Fragen, indem das Tool das Verhalten eines durchschnittlichen Verbrauchers nachbildet? Ayelet Israeli von der Harvard Business School und ihre beiden Co-Autoren haben diese Fragen näher untersucht. A. Israeli hat im Rahmen eines Online-Seminars, an dem ich teilgenommen habe, einige (Teil-)Antworten auf diese Fragen gegeben. In diesem Artikel erläutere ich ihre Experimente und was Sie über die Nutzung von ChatGPT für die Marktforschung lernen können.
Kontaktieren Sie das Marktforschungsinstitut IntoTheMinds
Bevor wir zum Kern der Sache kommen, müssen wir ein paar Grundlagen festlegen. Bei ChatGPT handelt es sich um die Chatbot-Schnittstelle zur Interaktion mit GPT4. GPT4 ist ein Large Language Model (LLM), das zur Familie der generativen künstlichen Intelligenz gehört. LLMs sagen das nächste Wort voraus, das am wahrscheinlichsten einen Satz bilden wird. Um dies zu erreichen, werden LLMs auf umfangreichen Textkorpora trainiert, so dass sie alle möglichen Kombinationen vorhersagen können. Es ist daher wichtig zu verstehen, dass die von ChatGPT gelieferten Antworten durch die bereits aufgenommenen Texte bedingt sind. Entgegen der landläufigen Meinung kann generative KI nicht „innovativ“ sein. Sie ist durch die Daten, auf die sie trainiert wurde, eingeschränkt.
Lassen Sie uns der Sache auf den Grund gehen. Im weiteren Verlauf dieses Artikels bezeichne ich mit dem Begriff „GPT“ das LLM und mit ChatGPT die Schnittstelle, über die Sie mit GPT interagieren können.
In diesem Stadium kann GPT nur verwendet werden, um bekannte Verhaltensweisen zu reproduzieren. Daher kann dieses Tool für die Beantwortung einfacher Fragen in gut etablierten Sektoren und für verfügbare Produkte nützlich sein.
Marktforschung: 1000 Möglichkeiten, um GPT zu nutzen
Wenn wir über die Nutzung der generativen KI für die Marktforschung sprechen, könnten wir etwas genauer sein. Es gibt 1.000 Möglichkeiten, generative KI für die Analyse eines Marktes einzusetzen. Hier sind nur ein paar Beispiele:
- Verfassen eines Gesprächsleitfadens für ein Interview
- Erstellen eines Formulars für eine Online-Umfrage
- Verfassen von Schreibtischstudien
- Analysieren von Rohdaten mit einem Plugin für chatGPT
Was Ayelet Israeli in ihrer Studie vorschlägt, ist ein ganz anderer Ansatz.
Kann GPT verwendet werden, um menschliches Verhalten zu „emulieren“?
Das Interesse an der Arbeit von A. Israeli liegt in der Nutzung von GPT, um menschliches Verhalten zu „emulieren“. Mit anderen Worten: Sie nutzte ChatGPT, um Antworten auf Fragen zu erhalten, die in der herkömmlichen Marktforschung echten Verbrauchern gestellt werden müssten. Sie hat also getestet, ob sich GPT wie ein Mensch verhält und ob die Antworten mit den Wirtschaftstheorien übereinstimmen.
Ich werde die Grenzen dieses Ansatzes zu einem späteren Zeitpunkt in diesem Artikel erörtern, aber zunächst möchte ich auf zwei der sechs Experimente eingehen, die sie durchgeführt hat.
Preissensibilität: Wie reagiert GPT?
In der ersten Gruppe von Experimenten baten die Autoren GPT, zwischen zwei Produkten (Laptops) zu wählen und gestalteten den Preis für eines der beiden Produkte unterschiedlich. Ziel war es, herauszufinden, für welches der beiden Produkte sich die künstliche Intelligenz entscheiden würde, und festzustellen, ob die Entscheidungen einer bestimmten wirtschaftlichen Logik folgen.
Die Frage lautete wie folgt.
Die Autoren variierten den Preis des ersten Computers („Surface Laptop 3“) in $1-Schritten zwischen $750 und $1250.
Die Grafik unten zeigt die Entwicklung der Wahl des Modells „Surface Laptop 3“ in Abhängigkeit vom Preis. Die Marke von $999 (die dem Preis des Konkurrenzprodukts entspricht) stellt eine Schwelle dar. Plötzlich bevorzugt die GPT in 80% der Fälle das Konkurrenzmodell.
Die Autoren kommen zu dem Schluss, dass die Antworten von GPT mit der ökonomischen Theorie übereinstimmen, die besagt, dass sich die Präferenzen mit dem Preis ändern. Es muss jedoch noch bewiesen werden, dass diese Antworten mit dem tatsächlichen Verbraucherverhalten übereinstimmen. Denken Sie daran, dass sich die Verbraucher nicht rational verhalten, und ich bin überrascht, dass sich GPT in nur 50 % der Fälle für das Surface Laptop 3 zu einem Preis von 750 $ (d. h. 25 % weniger als das Konkurrenzmodell) entschieden hat.
Zahlungsbereitschaft: Sind die Antworten von GPT glaubwürdig?
In einer anderen Versuchsreihe testeten die Autoren die „Zahlungsbereitschaft“ (WTP) für verschiedene Produkttypen. Das Experiment bestand darin, die WTP ein Produkt zu beschreiben und sie zu fragen, welchen Preis sie maximal zu zahlen bereit wäre. Indem sie den Vorgang hunderte Male wiederholten, erhielten die Autoren eine Verteilung, die mit einer theoretischen Verteilung verglichen wurde. Die gestellte Frage lautete wie folgt.
Sie kamen zu dem Schluss, dass die Antworten von GPT wieder mit der Wirtschaftstheorie übereinstimmten, da sie eine Verteilung aufwiesen, die der Realität entsprochen haben könnte.
3 Einschränkungen von GPT bei der Durchführung von Marktforschungsuntersuchungen
Diese Forschungsarbeit ist Teil der bahnbrechenden Studien über LLMs (Large Language Models) und das Verhalten von GPTs. Die Funktionsweise dieser Modelle ist noch weitgehend unbekannt, und in den nächsten Jahren wird noch viel Forschungsarbeit geleistet werden müssen, um die Geheimnisse dieser Modelle zu lüften. GPT weist viele Beschränkungen auf, die Sie berücksichtigen müssen, wenn Sie sie für Zwecke verwenden, die nicht der Freizeitgestaltung dienen, wie z.B. die Marktforschung. Ich sehe mindestens 3 wesentliche Einschränkungen:
-  Die Autoren bewerteten das Verhalten von GPT, allerdings nicht die Korrektheit der Antworten. GPT reagierte korrekt auf das Preisniveau der Barriere, und die Verteilung der Antworten war glaubwürdig. Aber wie sieht es mit der Genauigkeit der Antworten aus? Sind die Preise fair? Entspricht die Entscheidung für ein bestimmtes Produkt dem, was ein Mensch getan hätte?
- Diese Art von Experimenten ist auf vereinbarte Szenarien beschränkt, die in der Literatur weit verbreitet sind und für die GPT über einen Trainingskorpus verfügt. Marktforschungsstudien, die auf diese Weise mit GPT durchgeführt werden, können daher nur auf aktuelle Produkte angewendet werden, die Gegenstand regelmäßiger Experimente sind: schnelldrehende Konsumgüter (FMCG), Elektronik und Energie.
- Eine wichtige Frage bleibt, was die Ergebnisse dieser Art von Marktforschungsuntersuchungen bedeuten. Was macht GPT, wenn dem Tool eine Frage gestellt wird? Imitiert GPT das menschliche Verhalten? Oder wählt das Tool aus seinem Korpus aus, um “ voraussichtliche “ Antworten anzuzeigen?
Abschließende Gedanken und Schlussfolgerungen
Meine abschließenden Überlegungen konzentrieren sich unweigerlich auf die weit verbreitete Nutzung von generativer KI (und insbesondere ChatGPT) zur Durchführung von Marktforschungsstudien. Zum jetzigen Zeitpunkt kann GPT nur dazu verwendet werden, bekannte Verhaltensweisen zu emulieren. Das Tool kann daher für die Beantwortung einfacher Fragen in gut etablierten Sektoren und für verfügbare Produkte nützlich sein. ChatGPT kann jedoch niemals zuverlässig zur Beantwortung von Fragen zu innovativen Produkten oder Dienstleistungen verwendet werden. Daher macht es keinen Sinn, eine Produkt-Markt-Fit-Analyse für ein innovatives Produkt mit ChatGPT durchzuführen.
Die einzige Möglichkeit, komplexe Fragen in unsicheren Umgebungen zu beantworten, besteht in der Erhebung von Ad-hoc-Daten. Dazu gehören Primärdaten, die entweder qualitativ (Interviews, Fokusgruppen) oder quantitativ (z.B. CAWI) erhoben werden.
Der Hype um die generative KI ist nicht gut für die Gesundheit. Grundlegende Vorsorgeprinzipien werden vergessen, und jeder lässt sich einlullen, indem er denkt und tut, was er will. Sie müssen sich nur die Schatten-GPT-Praktiken dieses Unternehmens ansehen, um sich davon zu überzeugen, dass etwas nicht stimmt. In solch komplizierten Zeiten ist es wichtig, einen kühlen Kopf zu bewahren und keine Fehler zu machen.
Posted in Forschung.
