12 septiembre 2022 1297 palabras, 6 min. read

Tasa de error del 17%: la verdad sobre las encuestas en redes sociales

Por Pierre-Nicolas Schwab Doctor en marketing, director de IntoTheMinds
Llevar a cabo una encuesta exige un dominio técnico muy real. La facilidad de acceso a participantes interesados en las redes sociales ha llevado a algunos institutos de investigación de marketing a proponer atajos metodológicos cuyos efectos se están haciendo […]

Llevar a cabo una encuesta exige un dominio técnico muy real. La facilidad de acceso a participantes interesados en las redes sociales ha llevado a algunos institutos de investigación de marketing a proponer atajos metodológicos cuyos efectos se están haciendo ahora claramente visibles. Un estudio publicado en Nature muestra todas las limitaciones de las encuestas de Facebook. Una muestra de 250.000 participantes en una encuesta de Facebook llevó a una tasa de error del 17%. El tamaño amplifica el sesgo de la muestra; se trata de la paradoja del Big Data.

Resumen

Si solo tienes 30 segundos

  • Las encuestas realizadas en redes sociales tienen sesgos que pueden llevar a grandes errores.
  • Un estudio sobre encuestas en Facebook llevado a cabo durante la época del Covid-19 muestra una estimación de errores de hasta el 17%.
  • Los errores en las estimaciones se deben a la estrategia de muestreo. Las muestras en las redes sociales rara vez son representativas de la población objetivo.
  • Cuando muestras de gran tamaño contienen sesgos, los errores de estimación se vuelven todavía mayores.
  • Identifica las variables que influyen en el comportamiento de la población objetivo antes de decidir tu estrategia de muestreo.
  • No utilices las encuestas en redes sociales para una investigación de mercado B2B.

Introducción

Durante la pandemia del Covid, se realizaron numerosas encuestas para comprender la disposición de la población a recibir una vacuna. Las autoridades nos pidieron que estudiáramos e hiciéramos encuestas sobre las razones para negarse a la vacunación con el objetivo de reducir los factores en contra de la vacunación y aumentar la inmunidad grupal.

Las encuestas se llevaron a cabo en las redes sociales, e incluso Facebook creó un «Centro de Información de Covid-19». En esta ocasión, en Estados Unidos, casi 250.000 personas participaron cada semana en una encuesta para valorar su propensión a recibir la primera vacuna.

Tal y como muestran los 3 autores de este estudio, la encuesta realizada por Delphi en Facebook presentó unas estimaciones que no hacían más que empeorar a medida que progresaba la epidemia.

facebook covid information center

Facebook ha creado una sección permanente dedicada a la información sobre la pandemia de Covid-19.


Encuestas en redes sociales menos exactas que los métodos estándar

Los autores comparan 3 encuestas con los mismos objetivos: valorar la propensión de los americanos a recibir la primera vacuna contra el Covid-19.

La primera encuesta se hizo en Facebook, la segunda por correo electrónico / SMS, y la tercera con una metodología tradicional (paneles):

  • Encuesta en Facebook: 250.000 participantes semanales
  • Encuesta por correo electrónico y SMS: 75.000 participantes semanales
  • Panel de encuesta clásico: 1.000 participantes semanales

El método de administración de la encuesta (Facebook para la primera, correo electrónico y SMS para la segunda) introduce un sesgo. Las dos primeras encuestas tenían la particularidad de no controlar quién respondía o, en otras palabras, no había ninguna cuota basada en los perfiles de los participantes.

Por otro lado, el método del panel nos permite obtener una precisión mucho mejor a pesar de tener un tamaño de muestra mucho menor que las otras dos encuestas («la paradoja del Big Data»). Para quedar convencido, tienes que examinar el gráfico que hay a continuación y que muestra el desvío de las distintas encuestas mes a mes.

Erreurs dans les estimations de vaccination au Covid-19 de la population américaine.

Errores en las estimaciones de vacunación del Covid-19 en la población estadounidense. Comparación de 3 encuestas para observar los datos (puntos de referencia CDC ). Fuente: Bradley et al. (2021).

Mientras que en enero de 2021 los errores seguían siendo mínimo, la exactitud de las encuestas basadas en muestras muy amplias sigue disminuyendo hasta mayo de 2021. Aunque la tasa de vacunación observada es del 60%, la encuesta de Facebook la sobre estima en un 17% y la segunda encuesta en un 14%. En contraste, la encuesta con 1.000 personas con un método de cuota nos permite limitar el error a un 3-4%.


Cuando las muestras amplias tienen un sesgo, los errores de estimación serán mayores.



Un tamaño mayor de muestra no garantiza un margen de error más pequeño

En la investigación con encuestas, resulta paradójico que una muestra amplia no conlleve necesariamente una mayor precisión, ya que el tamaño solo amplifica el sesgo de la muestra.

Entonces, ¿de dónde provienen los grandes errores? De la estratificación de la muestra. Las 3 encuestas estratificaban por edad y sexo, pero los sesgos son más profundos.

La encuesta de Facebook solo se presenta a los usuarios de Facebook, algo lógico pero mortífero ya que el usuario de Facebook no tiene por qué ser representativo de la población en su conjunto.

La segunda encuesta solo consideraba a los participantes a los que se podía contactar por correo electrónico o SMS, lo que significa que se ignoraba al 19% de la población estadounidense.

La tercera encuesta asegura una amplia diversidad de perfiles en sus participantes. Además de la representatividad en los grupos de edad y sexo, las cuotas también fijaban:

  • Nivel educativo
  • Origen étnico
  • Opinión política
  • Participantes sin correo electrónico ni teléfono móvil quedaban incluidos (eran un 1% de la muestra).


Una muestra de 250.000 personas puede tener la misma inexactitud que una muestra de 10 personas.



¿Tiene sentido hacer encuestas a través de las redes sociales?

La encuesta es el método más común en la investigación de mercado, pero es importante dominar los aspectos técnicos para evitar llegar a las conclusiones erróneas.

El tamaño de la muestra no lo es todo y, tal y como hemos visto, una muestra de 250.000 personas puede tener la misma inexactitud que una muestra de 10 personas. Todo depende de la selección de los participantes.

Para mejorar la exactitud de tu encuesta, debes elegir a los participantes con muchos cuidado y comprender el criterio que se sigue a la hora de elegirlos. En el caso de la vacuna contra el Covid-19, estudios previos han mostrado la influencia de la educación y la afiliación política. No controlar esas variables solo podía llevar a un desastre estadístico.

Antes de lanzar una encuesta, es imperative que se realice una investigación de la literatura para descubrir qué factores es probable que influyan en el comportamiento que se está estudiando. Deberás decidir tu estrategia de muestreo basándote en esos factores. Sabemos que es un tema complicado así que, si necesitas ayuda, no dudes en ponerte en contacto con nosotros.



¿Tienen algún valor las encuestas realizadas en las redes sociales?

Así que, ¿vale la pena hacer la pregunta? ¿Qué objetivo tienen las encuestas hechas en las redes sociales, y acaso podemos fiarnos de ellas? La respuesta es muy sencilla: depende.

Todo depende del objetivo de la encuesta.

Si la encuesta gira en torno a los usuarios de una red social, tiene sentido.
Si el 100% de tu población objetivo utiliza la red social, tiene sentido.
Pero si, por casualidad, parte de tus participantes objetivo no utilizan las redes sociales, todo será en vano.

Un último consejo por nuestra parte: no consideres la opción de hacer encuestas a través de redes sociales si lo que quieres es investigar un mercado B2B; algo así no tendría sentido.



Posted in Investigación.

Publique su opinión

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *