Een marktonderzoek uitvoeren met ChatGPT is voor veel studenten, maar ook voor “professionals” een essentiële snelkoppeling geworden. Het gebruik van ChatGPT voor marktonderzoek is niet zonder risico’s en roept veel vragen op. Zijn de gegevens die ChatGPT levert accuraat? Zijn ze volledig? Beantwoordt ChatGPT vragen door het gedrag van een gemiddelde consument te reproduceren? Ayelet Israeli, van de Harvard Business School zocht een antwoord op deze vragen samen met haar twee coauteurs. A. Israeli gaf enkele (gedeeltelijke) antwoorden tijdens een online seminar waaraan ik deelnam. In dit artikel leg ik uit welke experimenten ze heeft uitgevoerd en wat we daaruit kunnen concluderen over het gebruik van ChatGPT als onderdeel van marktonderzoek.
Neem contact op met het marktonderzoeksbureau IntoTheMinds
Alvorens we naar de kern van de zaak gaan, wil ik eerst enkele fundamentele elementen bespreken. ChatGPT is de interface (chatbot) die wordt gebruikt voor interactie met GPT4. GPT4 is een Large Language Model (LLM) dat behoort tot de familie van generatieve kunstmatige intelligenties. LLM’s voorspellen het volgende meest waarschijnlijke woord in een zin. Om dat te kunnen doen, worden ze getraind op enorme tekstcorpora, waardoor ze alle mogelijke combinaties kunnen voorspellen. Daarom is het essentieel te begrijpen dat de antwoorden van ChatGPT worden bepaald door de teksten die al zijn opgenomen. In tegenstelling tot wat vaak wordt gedacht, kan generatieve AI niet ‘innoveren’. Het is beperkt door de gegevens waarop het is getraind.
Laten we nu naar de kern van de zaak gaan. In de rest van dit artikel gebruik ik ‘GPT’ om te verwijzen naar de LLM en ChatGPT om te verwijzen naar de interface die gebruikt wordt om te communiceren met GPT.
In dit stadium kan GPT enkel worden gebruikt om bekend gedrag na te bootsen. Het kan daarom nuttig zijn voor het beantwoorden van eenvoudige vragen in gevestigde sectoren en voor bekende producten.
Marktonderzoek: 1000 manieren om GPT te gebruiken
Als we het hebben over het gebruik van GPT voor marktonderzoek, dan klinkt dat erg vaag. Er zijn immers 1000 manieren om generatieve AI te gebruiken om een markt te analyseren. Hier zijn er maar een paar:
- een handleiding schrijven voor een sollicitatiegesprek
- een formulier voor een online enquête samenstellen
- desk research
- ruwe gegevens analyseren met een plugin voor ChatGPT
Wat Ayelet Israeli in haar onderzoek voorstelt, is een nog andere benadering.
Kan GPT worden gebruikt om menselijk gedrag te “emuleren”?
Het belang van het werk van A. Israeli (Engelse site) ligt in het gebruik van GPT om menselijk gedrag ‘na te bootsen’. Met andere woorden, ze maakte gebruik van ChatGPT om antwoorden te krijgen op vragen die in een traditioneel marktonderzoek aan echte consumenten zouden zijn gesteld. Ze testte dus of GPT zich gedroeg als een mens en of de gegeven antwoorden overeenkwamen met economische theorieën.
Later in dit artikel zal ik ingaan op de beperkingen van deze aanpak, maar eerst wil ik twee van de zes experimenten die ze uitvoerde belichten.
Prijsgevoeligheid: hoe reageert GPT?
In de eerste groep experimenten vroegen de auteurs aan GPT om te kiezen tussen twee producten (laptops) en varieerden ze de prijs van een van de twee producten. Het doel was om te begrijpen welk van de twee producten de kunstmatige intelligentie zou kiezen en om te bepalen of de keuzes een bepaalde economische logica volgden.
De vraag luidde als volgt.
De auteurs varieerden de prijs van de eerste computer (“Surface Laptop 3”) met stappen van $ 1 tussen $ 750 en $ 1.250.
De grafiek hieronder toont de trend in de keuze voor het model “Surface Laptop 3” op basis van de prijs.
We zien duidelijk dat de grens van $ 999 (die overeenkomt met de prijs van de computer van de concurrent) een breekpunt is. Ineens geeft GPT in 80% van de gevallen de voorkeur aan het model van de concurrent.
De auteurs concluderen daarom dat de reacties van GPT consistent zijn met de economische theorie, die stelt dat voorkeuren veranderen naargelang de prijs. Er moet echter nog worden aangetoond dat deze reacties overeenkomen met de realiteit van het consumentengedrag. Laten we niet vergeten dat consumenten niet rationeel zijn, en het verbaast me dat GPT voor $ 750 (25% minder dan het concurrerende model) in slechts 50% van de gevallen voor de Surface Laptop 3 koos.
Betaalneiging: zijn de antwoorden van GPT geloofwaardig?
In een andere reeks experimenten testten de auteurs de ‘betalingsbereidheid’ ((“Willingness To Pay” of WTP) voor verschillende soorten producten. Het experiment bestond uit het beschrijven van een product aan GTP en te vragen welke prijs het maximaal bereid zou zijn te betalen. Door de operatie honderden keren te herhalen, verkregen de auteurs een verdeling die ze vergeleken met een theoretische verdeling. De gestelde vraag luidde als volg :
Ze concludeerden dat de antwoorden van GPT opnieuw in overeenstemming waren met de economische theorie, in het bijzonder door een verdeling weer te geven die overeen zou kunnen komen met de werkelijkheid.
3 beperkingen van GPT voor het uitvoeren van marktonderzoek
Dit onderzoek maakt deel uit van een reeks baanbrekende studies naar het gedrag van LLM’s (Large Language Models) en GPT in het bijzonder. Er is nog maar weinig bekend over hoe ze werken en er zal de komende jaren nog veel werk moeten worden verricht om hun mysteries te ontrafelen. Er zijn dus heel wat beperkingen en daar moet u rekening mee houden als u van GPT gebruik maakt voor niet-recreatieve doeleinden zoals marktonderzoek. Ik zie alleszins 3 belangrijke beperkingen:
- De auteurs evalueerden het gedrag van GPT, maar niet de nauwkeurigheid van zijn reacties. GPT reageerde correct op het niveau van de barrièreprijzen en de verdeling van de antwoorden was geloofwaardig. Maar hoe zit het met de nauwkeurigheid van de antwoorden? Zijn de prijzen eerlijk? Komt de keuze van het ene product boven het andere overeen met wat een mens zou hebben gedaan?
- Dit type experiment is beperkt tot overeengekomen scenario’s, die ruimschoots aan bod komen in de literatuur en waarvoor GPT een ‘body of practice’ heeft. Marktonderzoek dat op een stille manier met GPT wordt uitgevoerd, kan daarom alleen worden toegepast op veelvoorkomende producten waarvoor regelmatig wordt geëxperimenteerd: fast moving consumer goods (FMCG), elektronica, energie.
- De grote vraag blijft wat de resultaten van dit soort marktonderzoek nu echt betekenen. Wat doet GPT als er een vraag wordt gesteld? Imiteert het menselijk gedrag? Of put het uit zijn corpus om ‘waarschijnlijke’ antwoorden weer te geven?
Slotgedachten en conclusies
Mijn laatste gedachten liggen onvermijdelijk in de veralgemening van het gebruik van generatieve AI (en ChatGPT in het bijzonder) om marktonderzoek uit te voeren. In dit stadium kan GPT alleen worden gebruikt om bekend gedrag na te bootsen. Het kan daarom nuttig zijn voor het beantwoorden van eenvoudige vragen in gevestigde sectoren en voor bekende producten. ChatGPT kan in geen geval betrouwbaar worden gebruikt om vragen over innovatieve producten of diensten te beantwoorden. Een product-markt fit analyse uitvoeren voor een innovatief product met behulp van ChatGPT heeft dus geen zin.
De enige manier om complexe vragen te beantwoorden in een onzekere omgeving is het verzamelen van ad-hocgegevens. Dat gaat dus noodzakelijkerwijs over primaire gegevens, die kwalitatief (interviews, focusgroepen) of kwantitatief (bijvoorbeeld CAWI) worden verzameld.
Ik denk dat de hype rond generatieve AI ongezond is. De basisprincipes van voorzichtigheid worden vergeten en iedereen doet en denkt dat alles kan. U hoeft alleen maar naar de “shadow GPT”-praktijken in bedrijven te kijken om te zien dat er iets niet klopt. In zo’n ingewikkelde periode is het essentieel om het hoofd koel te houden en geen fouten te maken.
Posted in Onderzoek, Recherche.
