12 September 2022 1113 words, 5 min. read

17 % Fehlerquote: die Wahrheit über Umfragen in sozialen Netzwerken

By Pierre-Nicolas Schwab PhD in marketing, director of IntoTheMinds
Die Realisierung einer Umfrage erfordert echtes technisches Know-how. Der einfache Zugang zu in Gefangenschaft lebenden Befragten in sozialen Netzwerken hat einige Marktforschungsinstitute dazu veranlasst, methodische Abkürzungen vorzuschlagen, deren Auswirkungen nun deutlich sichtbar sind. Die in Nature veröffentlichte Forschung zeigt alle […]

Die Realisierung einer Umfrage erfordert echtes technisches Know-how. Der einfache Zugang zu in Gefangenschaft lebenden Befragten in sozialen Netzwerken hat einige Marktforschungsinstitute dazu veranlasst, methodische Abkürzungen vorzuschlagen, deren Auswirkungen nun deutlich sichtbar sind. Die in Nature veröffentlichte Forschung zeigt alle Grenzen von Facebook-Umfragen auf. Eine Stichprobe von 250.000 Befragten einer Facebook-Umfrage führte zu einem Fehler von 17%. Die Größe verstärkt die Probenvorspannung. Das ist das Big Data Paradox.

Zusammenfassung

Wenn Sie nur 30 Sekunden Zeit haben

  • Umfragen, die über soziale Netzwerke durchgeführt werden, haben Vorurteile, die zu großen Fehlern führen können.
  • Untersuchungen zu Facebook-Umfragen, die zum Zeitpunkt von Covid-19 durchgeführt wurden, zeigen bis zu 17 % Fehler bei Schätzungen
  • Die Fehler in den Schätzungen sind auf die Stichprobenstrategie zurückzuführen. Samples in sozialen Netzwerken sind selten repräsentativ für die Zielpopulation.
  • Wenn große Stichprobengrößen voreingenommen sind, wird der Schätzfehler noch größer sein.
  • Identifizieren Sie die Variablen, die das Verhalten der Zielpopulation beeinflussen, bevor
  • Sie sich für Ihre Probenahme Strategie entscheiden.
  • Verwenden Sie keine Social-Media-Umfragen für die B2B-Marktforschung.

Einleitung

Während der COVID-Pandemie wurden zahlreiche Erhebungen durchgeführt, um die Bereitschaft der Bevölkerung zur Impfung zu verstehen. Wir wurden von den Behörden gebeten, die Gründe für die Nichtimpfung durch Befragung zu untersuchen. Ziel war es, die Nichtimpfungsfaktoren zu verringern und die Immunität der Herde zu erhöhen.

Umfragen wurden in sozialen Netzwerken durchgeführt, und Facebook startete sogar ein „Covid-19-Informationszentrum“. Bei dieser Gelegenheit nahmen in den Vereinigten Staaten fast 250.000 Menschen jede Woche an einer Umfrage teil, um ihre Neigung zu beurteilen, die erste Impfdosis zu erhalten.

Wie die 3 Autoren der Studie zeigen, lieferte diese von Delphi und Facebook durchgeführte Umfrage Schätzungen, die sich mit dem Fortschreiten der Epidemie nur noch verschlimmerten.

facebook covid information center

Facebook hat eine permanente Abteilung eingerichtet, die sich mit Informationen über die Covid-19-Pandemie befasst.


Umfragen in sozialen Netzwerken sind weniger genau als Standardmethoden

Die Autoren vergleichen 3 Umfragen mit den gleichen Zielen: die Neigung der Amerikaner zu beurteilen, den ersten Impfstoff gegen Covid-19 zu erhalten.

Die erste Umfrage wurde auf Facebook durchgeführt, die zweite per E-Mail / SMS und die dritte über eine traditionelle Methodik (Panels):

  • Facebook-Umfrage: 250.000 Befragte pro Woche
  • Umfrage per E-Mail und SMS: 75.000 Befragte pro Woche
  • Klassische Panelbefragung: 1000 Befragte pro Woche

Die Methode der Umfrageverwaltung (Facebook in der ersten, E-Mail und SMS in der zweiten) führt eine Voreingenommenheit ein. Die ersten beiden Umfragen haben die Besonderheit, nicht zu kontrollieren, wer antwortet. Mit anderen Worten, es gibt keine Quoten, die auf den Profilen der Befragten basieren.

Auf der anderen Seite ermöglicht uns die Panel-Methode, trotz einer viel kleineren Stichprobengröße als die der beiden anderen Umfragen („Big Data Paradox“) eine viel bessere Präzision zu erzielen. Um überzeugt zu sein, müssen Sie sich die folgende Grafik ansehen, die die Drift der verschiedenen Umfragen Monat für Monat zeigt.

Erreurs dans les estimations de vaccination au Covid-19 de la population américaine.

Fehler bei den Impfschätzungen der US-Bevölkerung in Bezug auf Covid-19. Vergleich von 3 Erhebungen mit beobachteten Daten (CDC-Benchmark). Quelle: Bradley et al. (2021).

Während im Januar 2021 die Fehler minimal bleiben, sinkt die Genauigkeit der Erhebungen auf der Grundlage sehr großer Stichproben bis Mai 2021 weiter. Während die beobachtete Impfrate bei etwa 60 % liegt, überschätzt die Facebook-Umfrage die Rate um 17 % und die zweite Umfrage um 14 %. Im Gegensatz dazu erlaubt uns die Umfrage mit 1000 Personen mit der Quotenmethode, den Fehler auf ca. 3-4% zu begrenzen.


Wenn große Proben voreingenommen sind, wird der Schätzfehler größer sein.



Größerer Stichprobenumfang garantiert keine geringere Fehlermarge

In der Erhebungsforschung ist es paradox, dass ein großer Stichprobenumfang nicht notwendigerweise zu einer besseren Präzision führt. Tatsächlich wird die Größe nur die Verzerrung der Probe verstärken.

Also, woher kommen die riesigen Fehler? Aus der Schichtung der Probe.
Die drei Erhebungen haben sich nach Alter und Geschlecht geschichtet. Aber die Vorurteile sind tiefer.

Die Facebook-Umfrage befragt nur Facebook-Nutzer. Das ist logisch, aber tödlich, weil ein Facebook-Nutzer nicht unbedingt repräsentativ für die Gesamtbevölkerung ist.

In der zweiten Umfrage werden nur Befragte berücksichtigt, die per E-Mail oder SMS kontaktiert werden können. Das bedeutet, dass 19% der amerikanischen Bevölkerung ignoriert werden.

Die dritte Befragung stellt eine große Vielfalt an Befragten Profilen sicher. Neben der Repräsentativität nach Alter und Altersgruppe werden auch Quoten festgelegt:

  • Ausbildungsgrad
  • ethnische Herkunft
  • politische Meinungen
  • Befragte mit weder E-Mail noch Handy sind eingeschlossen (ca. 1% der Stichprobe).


Eine Stichprobe von 250.000 Personen kann die gleiche Ungenauigkeit aufweisen wie eine Stichprobe von 10 Personen.



Wie können Sie die Genauigkeit Ihrer Umfragen verbessern?

Die Erhebung ist die gängigste Methode der Marktforschung. Es ist jedoch wichtig, die technischen Aspekte zu beherrschen, um keine falschen Schlussfolgerungen zu ziehen.

Die Stichprobengröße ist nicht alles, und wie wir gesehen haben, kann eine Stichprobe von 250.000 Personen die gleiche Ungenauigkeit aufweisen wie eine Stichprobe von 10 Personen. Es ist alles in der Auswahl der Befragten.

Um die Genauigkeit Ihrer Umfrage zu verbessern, müssen Sie Ihre Befragten sorgfältig auswählen und die Kriterien für ihre Auswahl verstehen. Im Fall der Covid-19-Impfung haben frühere Untersuchungen den Einfluss von Bildung und politischer Zugehörigkeit gezeigt. Die Nichtbeherrschung dieser Variablen könnte nur zu einer statistischen Katastrophe führen.

Bevor Sie eine Umfrage starten, ist es unerlässlich, Literaturrecherchen durchzuführen, um herauszufinden, welche Faktoren das von Ihnen untersuchte Verhalten wahrscheinlich beeinflussen werden. Basierend auf diesen Faktoren müssen Sie sich dann für Ihre Probenahme Strategie entscheiden. Wir wissen, dass dies ein kompliziertes Thema ist. Wenn Sie also Hilfe benötigen, zögern Sie nicht, uns zu kontaktieren.



Haben Umfragen über soziale Netzwerke einen Wert?

Die Frage lohnt sich also? Was ist der Zweck von Umfragen über soziale Netzwerke, und können wir ihnen vertrauen? Die Antwort lautet: Es kommt darauf an.

Es hängt alles vom Zweck der Umfrage ab.

Wenn es in Ihrer Umfrage um Nutzer in sozialen Netzwerken geht, macht es Sinn.
Wenn 100 % Ihrer Zielpopulation soziale Netzwerke nutzen, macht das Sinn.
Aber Sie sind verloren, wenn sich einige Ihrer Zielpersonen zufällig nicht in sozialen Netzwerken befinden.

Ein letzter Ratschlag für die Straße. Ziehen Sie keine Umfrage in sozialen Netzwerken in Betracht, wenn Sie einen B2B-Markt erforschen möchten. Es würde keinen Sinn ergeben.



Posted in Forschung.

Post your opinion

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert