En 2005, Amazon a introduit la plateforme Mechanical Turk (MTurk) afin d’externaliser des tâches répétitives. MTurk est désormais très populaire auprès des sociétés d’études de marché et des universités. Elles y trouvent une main d’Å“uvre abondante pour, par exemple, réponde à des sondages.
Cette plateforme compte 7 500 travailleurs à temps plein et plus de 500 000 travailleurs à temps partiel à l’échelle mondiale, principalement des États-Unis et en Inde. Dans cet article j’analyse MTurk dans une optique d’études (de marché) et vous rend attentif à certaines spécificités qui pourraient influencer vos résultats.
Repères chiffrés sur MTurk
- Créé en 2005 par Amazon.
- 7500 travailleurs à temps plein
- 500 000 travailleurs à temps partiel dans le monde, principalement des États-Unis et de l’Inde.
- 1/3 de tous les sondages et expériences en sciences sociales utilisent MTurk.
- Les Super Turkers participent à 10-17 sondages par semaine
- 10 % des MTurkers sont responsables de la réalisation de 40 % de tous les sondages.
La main-d’Å“uvre de MTurk
Démographie et représentation
La première chose à laquelle, je pense, qu’il faut faire attention c’est la représentativité démographique des MTurkers.
Les travailleurs de MTurk, ou MTurkers, sont généralement plus jeunes, plus éduqués et plus au fait de la technologie que la population générale. Une partie significative a moins de 30 ans, souvent sans emploi ou sous-employée. Elles appartiennent aux classes de revenus inférieurs (souvenez-vous-en si vous devez respecter des quotas dans votre sondage).
En termes de statut matrimonial, ils sont plus susceptibles de n’avoir jamais été mariés. Démographiquement, la plateforme voit plus d’individus blancs et moins d’Hispaniques/Latino ou d’Afro-Américains. Si une représentation ethnique est nécessaire dans votre étude, faites donc particulièrement attention. La population des MTurkers est moins représentative que les échantillons probabilistes nationaux et certains panels en ligne professionnels, mais plus représentative que les échantillons de convenance.
Traits psychologiques
Ensuite, il faut être conscients que les MTurkers ont des profils psychologiques spécifiques. Ils obtiennent des scores plus élevés en matière d’introversion. Leur estime de soi est plus faible et leur satisfaction de la vie plus basse.
Ils obtiennent également des scores plus élevés en matière
- D’empathie
- D’anxiété sociale
Il faut donc bien être conscient de ces spécificités, surtout si vous faites remplir des questionnaires qui mobilisent ces traits de caractère.
Challenges
Le phénomène des « Super Turkers »
Les « Super Turkers » constituent un petit segment très actif sur la plateforme. Ils participent en moyenne à 10-17 sondages par semaine, nettement plus que les répondants typiques de panels.
Ce groupe réalise 40 % de tous les sondages. Ils sont bien entendu motivés par l’argent. La dépendance à ces répondants très actifs pose un risque de biais dans les résultats de recherche, en particulier dans les études sensibles aux effets de l’expérience de la participation répétée aux sondages.
Éthique et motivations du travail
Pour 80% des MTurkers, le revenu est la motivation principale. Elle prime sur l’intérêt du sujet (20%). Cette motivation économique les conduit à compléter les tâches rapidement afin de maximiser leurs gains.
Cette recherche de la vitesse d’exécution peut compromettre la qualité des données. Il faut donc implémenter des mesures spécifiques pour repérer les speeders, c’est-à -dire ceux qui répondent trop vite aux sondages. L’entraînement des MTurkers pourrait en effet leur donner à avantage en termes de temps de réponse.
Pour finir, je vous conseille d’accorder une attention particulière à la conception et à la longueur de votre sondage. Comme avec les panels classiques, les sondages mal conçus ou excessivement longs conduisent à :
- Des réponses de mauvaise qualité
- Des taux d’abandon élevés
Mon conseil est donc le même qu’à nos clients : ne pas dépasser 25 questions ou 9 minutes.
Points d’attention pour vos projets sur MTurk
Si vous souhaitez réaliser une étude avec MTurk, voici les points d’attention qui me semblent les plus importants.
Fausse identité des répondants
L’usurpation d’identité, ou plus précisément la revendication de qualité que le répondant ne possède pas, est un vrai problème. Il n’est d’ailleurs pas spécifique à MTurk mais concerne tous les sondages sur panels.
Il existe différentes approches pour contrer ce problème :
supprimer les incitants financiers
poser des questions de screening
Biais de l’échantillon
Le profil spécifique des MTurkers entraînera forcément des biais si vous souhaitez constituer un échantillon représentatif. Il vous faudra dès lors redresser votre échantillon sur les aspects suivants :
1. Age
2. Race et ethnicité
3. Sexe
4. Revenus
5. Education
6. Statut marital
7. Religion
8. Idéologie politique
Recommandations pour la rédaction du rapport
Pour la transparence et l’intégrité de votre projet de recherche, je vous recommande d’être tout à fait clair sur
- La compensation accordée au MTurkers
- Leur pays de résidence
- Les données démographiques de base des répondants
Ces éléments factuels permettront au lecteur d’apprécier la fiabilité et la généralisabilité des résultats. Cette recommandation n’est toutefois pas spécifique à MTurk. Il s’agit d’une bonne pratique à appliquer pour n’importe quel projet qualitatif ou quantitatif.
Conclusion
MTurk est devenu un outil très répandu pour la réalisation de recherches, en particulier dans les sciences sociales. Cependant, les spécificités des MTurkers requièrent certains ajustements méthodologiques. En comprenant les spécificités démographiques, motivationnelles et comportementales des MTurkers, les chercheurs peuvent appréhender les limites de leurs études et anticiper les problèmes.
Pour aller plus loin
Voici quelques articles académiques sur l’utilisation de MTurk dans les études.
- Mason & Suri 2012
- Buchheit et al. 2018
- Hunt & Scheetz 2019
- Paolacci et al. 2010
- Wessling et al. 2017
Publié dans Marketing.
