Kwantitatief onderzoek: een online vragenlijst opstellen en testen

We hadden het eerder al over kwantitatieve vragenlijsten, het belang ervan, de te vermijden risico’s evenals de te vermijden valkuilen. Vandaag helpen we u bij het opstellen van uw vragenlijst, het formuleren van uw vragen en het verbeteren van het geheel.

Samenvatting

• Definieer en begrijp het te bestuderen onderwerp
• Opstellen van de vragen
• Testen van de vragenlijst
• Conclusie

Definieer en begrijp het te bestuderen onderwerp

Saris et al. (2014) (Engelse site) gaven al terecht aan dat het essentieel is om het onderwerp te bepalen. De eerste stap in het opstellen van een vragenlijst is inderdaad :

• het definiëren van het thema
• het bepalen van een kader voor het onderzoek
• de bepaling van variabelen

Voordat u begint met het opstellen van uw vragen, moet u op papier vastleggen wat het uiteindelijk doel is dat u hoopt te bereiken met de verspreiding van uw vragenlijst. Zodra u het doel hebt bepaald, schat u de te meten variabelen in op basis van uw kennis van de markt en de consument, maar ook op basis van de resultaten en conclusies van eerdere stappen (literatuurstudie, kwalitatief onderzoek, tests, enz.).

Het voorbeeld van Saris e.a. (2014) stelt dat om de waarschijnlijkheid van het gaan stemmen bij verkiezingen na te gaan, het nodig is om leeftijd, opleidingsniveau, mate van naleving van de norm (“u moet stemmen”) en politieke belangstelling te onderzoeken. Deze variabelen moeten dus in de te valideren of ongeldig te verklaren vragenlijst worden opgenomen, afhankelijk van de resultaten.

Opstellen van vragen

We hebben al gewezen op het belang van het formuleren van vragen op basis van het gewenste type antwoord.

Het is natuurlijk raadzaam om in het kader van een kwantitatieve vragenlijst zo volledig mogelijke antwoordmogelijkheden voor te stellen (maximaal 7 voorstellen om cognitieve overbelasting van de respondenten te voorkomen). Het doel is ook om uw vragen op een eenvormige manier te formuleren. Respondenten moeten onmiddellijk de betekenis van uw vragen kunnen begrijpen. Als ze twijfelen tussen verschillende interpretaties van dezelfde vraag, is het zeer waarschijnlijk dat ze niet allemaal dezelfde exacte vraag zullen beantwoorden.

Het risico dat respondenten verschillende interpretaties kiezen is zeer groot en zal de kwaliteit van uw resultaten negatief beïnvloeden.

Zorg ervoor dat u duidelijke formuleringen kiest. Indien nodig is het ook mogelijk om wat extra informatie toe te voegen aan vragen zoals :

• Een inleiding
• Bijkomende informatie
• Definities
• Instructies

Test de vragenlijst

Presser et al (2004) (Engelse site) definiëren het vooraf testen van een vragenlijst als een noodzakelijke stap. Zowel de formulering als het ontwerp van de vragenlijst (formaat van vraag- en antwoord, volgorde van de vragen, structuur, etc.) moeten worden getest.

Wanneer u al deze vragen heeft beantwoord en de nodige aanpassingen heeft gedaan (indien nodig), kunt u verder gaan met het testen van uw vragenlijst. Hiervoor lanceert u een zogenaamde “soft launch” (letterlijk: een “zachte lancering”), d.w.z. een eerste lancering bij ongeveer 10% van uw panel van respondenten. Deze eerste feedback zal u, na observatie en pre-analyse, in staat stellen om te begrijpen of de doelstellingen van het onderzoek na de volledige lancering zullen worden bereikt. In dit stadium kunt u wijzigingen aanbrengen, dus profiteer ervan. Als een zachte lancering niet mogelijk is, vraag dan rond bij uw entourage, verspreid een eerste versie op kleine platformen of sociale netwerken.

Onderzoek uitgevoerd door Forsyth et al (2004) (Engelse site) bevestigt het belang van het testen van vragenlijsten voor de lancering, vooral via:

• beoordeling van de vragenlijst door deskundigen
• evaluatie van de vragenlijst
• cognitieve interviews

Deze acties zijn bedoeld om problemen met de vragenlijst op te sporen, die moeten worden opgelost om de resultaten te optimaliseren. Forsyth et al. (2004) stelden in hun evaluaties inderdaad vast dat vragen die na het vooraf testen van de vragenlijst als een probleem werden beschouwd, tijdens de analyse inconsistent bleken te zijn.

Als er eenmaal problemen zijn ontdekt, is het natuurlijk een kwestie van het oplossen ervan. Het ontdekken van een probleem leidt echter niet altijd tot het systematisch vinden van een oplossing. Onderzoekers over dit onderwerp zijn het erover eens dat het nodig is om gedetailleerde standpunten over de problemen te verzamelen (inzicht in de moeilijkheden die respondenten ondervinden) om de vragenlijst op een oordeelkundige manier te kunnen bijwerken.

Als u eenmaal de nodige aanpassingen hebt gedaan, zou het ideaal zijn om de vragenlijst opnieuw te testen om er zeker van te zijn dat de veranderingen doeltreffend zijn.

Conclusie

Het is essentieel om een vragenlijst te testen alvorens ze te verspreiden. Hetzelfde geldt voor interviewgidsen bij kwalitatief onderzoek, die soms na enkele interviews moeten worden aangepast aan de onderzoeksdoelstellingen. Hetzelfde geldt voor kwantitatieve vragenlijsten.
Het vaste en rigide karakter van de online vragenlijst betekent dat deze bij de volledige lancering duidelijk en volledig moet zijn om te leiden tot kwaliteitsvolle resultaten, die voldoen aan de behoeften van het onderzoek. Aarzel daarom niet om een aantal wijzigingen aan te brengen in uw vragenlijst door deze met verschillende mensen te testen en inzicht te krijgen in de moeilijkheden en problemen die uw testers ondervinden.

Bronnen

• Saris, W. E., & Gallhofer, I. N. (Eds.). (2014). Design, Evaluation, and Analysis of Questionnaires for Survey Research.
• Presser, S., Couper, M. P., Lessler, J. T., Martin, E., Martin, J., Rothgeb, J. M., & Singer, E. (2004). Methods for Testing and Evaluating Survey Questions. Public Opinion Quarterly, 68(1), 109–130.
• Forsyth, B., Rothgeb, J. M., & Willis, G. B. (2004). Does Pretesting Make a Difference? An Experimental Test. Wiley Series in Survey Methodology, 525–546.

Illustraties: Shutterstock

Door Pierre-Nicolas Schwab Pierre-Nicolas is de directeur van de marketing agentschap IntoTheMinds. Hij heeft speciaal interesse voor e-commerce, retail, HoReCa en supply-chain projecten. Hij is ook een onderzoeker aan de Vrije Universiteit Brussel en werkt ook als coach voor meerde publieke organisaties. Hij verwelkomt Linkedin uitnodigingen : gelieve gewoon een paar woorden toe te voegen en uit te leggen waarom U wilt connecteren.