29 mars 2024 969 mots, 4 min. de lecture

Amazon MTurk : conseils pour réussir vos études

Par Pierre-Nicolas Schwab Docteur en marketing, directeur de IntoTheMinds
Retrouvez tous mes conseils dans cet article pour bien utiliser Amazon MTurk. Cette plateforme facilite l'accès à des répondants mais il y a certains pièges à éviter.

En 2005, Amazon a introduit la plateforme Mechanical Turk (MTurk) afin d’externaliser des tâches répétitives. MTurk est désormais très populaire auprès des sociétés d’études de marché et des universités. Elles y trouvent une main d’œuvre abondante pour, par exemple, réponde à des sondages.

Cette plateforme compte 7 500 travailleurs à temps plein et plus de 500 000 travailleurs à temps partiel à l’échelle mondiale, principalement des États-Unis et en Inde. Dans cet article j’analyse MTurk dans une optique d’études (de marché) et vous rend attentif à certaines spécificités qui pourraient influencer vos résultats.

Repères chiffrés sur MTurk

  • Créé en 2005 par Amazon.
  • 7500 travailleurs à temps plein
  • 500 000 travailleurs à temps partiel dans le monde, principalement des États-Unis et de l’Inde.
  • 1/3 de tous les sondages et expériences en sciences sociales utilisent MTurk.
  • Les Super Turkers participent à 10-17 sondages par semaine
  • 10 % des MTurkers sont responsables de la réalisation de 40 % de tous les sondages.

La main-d’œuvre de MTurk

Démographie et représentation

La première chose à laquelle, je pense, qu’il faut faire attention c’est la représentativité démographique des MTurkers.

Les travailleurs de MTurk, ou MTurkers, sont généralement plus jeunes, plus éduqués et plus au fait de la technologie que la population générale. Une partie significative a moins de 30 ans, souvent sans emploi ou sous-employée. Elles appartiennent aux classes de revenus inférieurs (souvenez-vous-en si vous devez respecter des quotas dans votre sondage).

En termes de statut matrimonial, ils sont plus susceptibles de n’avoir jamais été mariés. Démographiquement, la plateforme voit plus d’individus blancs et moins d’Hispaniques/Latino ou d’Afro-Américains. Si une représentation ethnique est nécessaire dans votre étude, faites donc particulièrement attention. La population des MTurkers est moins représentative que les échantillons probabilistes nationaux et certains panels en ligne professionnels, mais plus représentative que les échantillons de convenance.

Traits psychologiques

Ensuite, il faut être conscients que les MTurkers ont des profils psychologiques spécifiques. Ils obtiennent des scores plus élevés en matière d’introversion. Leur estime de soi est plus faible et leur satisfaction de la vie plus basse.

Ils obtiennent également des scores plus élevés en matière

  • D’empathie
  • D’anxiété sociale

Il faut donc bien être conscient de ces spécificités, surtout si vous faites remplir des questionnaires qui mobilisent ces traits de caractère.

Challenges

Le phénomène des « Super Turkers »

Les « Super Turkers » constituent un petit segment très actif sur la plateforme. Ils participent en moyenne à 10-17 sondages par semaine, nettement plus que les répondants typiques de panels.
Ce groupe réalise 40 % de tous les sondages. Ils sont bien entendu motivés par l’argent. La dépendance à ces répondants très actifs pose un risque de biais dans les résultats de recherche, en particulier dans les études sensibles aux effets de l’expérience de la participation répétée aux sondages.

Éthique et motivations du travail

Pour 80% des MTurkers, le revenu est la motivation principale. Elle prime sur l’intérêt du sujet (20%). Cette motivation économique les conduit à compléter les tâches rapidement afin de maximiser leurs gains.
Cette recherche de la vitesse d’exécution peut compromettre la qualité des données. Il faut donc implémenter des mesures spécifiques pour repérer les speeders, c’est-à-dire ceux qui répondent trop vite aux sondages. L’entraînement des MTurkers pourrait en effet leur donner à avantage en termes de temps de réponse.

Pour finir, je vous conseille d’accorder une attention particulière à la conception et à la longueur de votre sondage. Comme avec les panels classiques, les sondages mal conçus ou excessivement longs conduisent à :

  • Des réponses de mauvaise qualité
  • Des taux d’abandon élevés

Mon conseil est donc le même qu’à nos clients : ne pas dépasser 25 questions ou 9 minutes.

Points d’attention pour vos projets sur MTurk

Si vous souhaitez réaliser une étude avec MTurk, voici les points d’attention qui me semblent les plus importants.

Fausse identité des répondants

L’usurpation d’identité, ou plus précisément la revendication de qualité que le répondant ne possède pas, est un vrai problème. Il n’est d’ailleurs pas spécifique à MTurk mais concerne tous les sondages sur panels.
Il existe différentes approches pour contrer ce problème :
supprimer les incitants financiers
poser des questions de screening

Biais de l’échantillon

Le profil spécifique des MTurkers entraînera forcément des biais si vous souhaitez constituer un échantillon représentatif. Il vous faudra dès lors redresser votre échantillon sur les aspects suivants :
1. Age
2. Race et ethnicité
3. Sexe
4. Revenus
5. Education
6. Statut marital
7. Religion
8. Idéologie politique

Recommandations pour la rédaction du rapport

Pour la transparence et l’intégrité de votre projet de recherche, je vous recommande d’être tout à fait clair sur

  • La compensation accordée au MTurkers
  • Leur pays de résidence
  • Les données démographiques de base des répondants

Ces éléments factuels permettront au lecteur d’apprécier la fiabilité et la généralisabilité des résultats. Cette recommandation n’est toutefois pas spécifique à MTurk. Il s’agit d’une bonne pratique à appliquer pour n’importe quel projet qualitatif ou quantitatif.

Conclusion

MTurk est devenu un outil très répandu pour la réalisation de recherches, en particulier dans les sciences sociales. Cependant, les spécificités des MTurkers requièrent certains ajustements méthodologiques. En comprenant les spécificités démographiques, motivationnelles et comportementales des MTurkers, les chercheurs peuvent appréhender les limites de leurs études et anticiper les problèmes.

Pour aller plus loin

Voici quelques articles académiques sur l’utilisation de MTurk dans les études.



Publié dans Marketing.

Donnez votre avis

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *