La realizzazione di un sondaggio richiede una vera competenza tecnica. Il facile accesso ai captive intervistati sui social ha spinto alcuni istituti di ricerche di mercato a proporre scorciatoie metodologiche i cui effetti sono ora ben visibili. La ricerca pubblicata su Nature mostra tutti i limiti dei sondaggi di Facebook. Un campione di 250.000 intervistati a un sondaggio di Facebook ha portato a un errore del 17%. La dimensione amplifica la distorsione del campione. Questo è il paradosso dei Big Data.
Sommario
- Introduzione
- Sondaggi sui social network meno accurati rispetto ai metodi standard
- Una maggiore dimensione del campione non garantisce un margine di errore minore
- Ha senso sondare tramite i social network?
Se hai solo 30 secondi
- I sondaggi realizzati attraverso i social network hanno pregiudizi che possono portare a grossi errori.
- La ricerca sui sondaggi Facebook realizzati ai tempi del Covid-19 mostra fino al 17% di errore nelle stime
- Gli errori nelle stime sono dovuti alla strategia di campionamento. I campioni sui social network sono raramente rappresentativi della popolazione target.
- Quando campioni di grandi dimensioni sono distorti, l’errore di stima sarà ancora maggiore.
- Identificare le variabili che influenzano il comportamento della popolazione target prima di decidere la strategia di campionamento.
- Non utilizzare sondaggi sui social media per ricerche di mercato B2B.
Introduzione
Durante la pandemia di Covid sono state avviate numerose indagini per comprendere la disponibilità della popolazione a farsi vaccinare. Ci è stato chiesto dalle autorità di studiare, per indagine, le ragioni della non vaccinazione. L’obiettivo era ridurre i fattori non vaccinali e aumentare l’immunità di gregge.
I sondaggi sono stati realizzati sui social network e Facebook ha persino lanciato un “Centro informazioni Covid-19”. In questa occasione, negli Stati Uniti, quasi 250.000 persone hanno partecipato ogni settimana a un sondaggio per valutare la loro propensione a voler fare la prima dose di vaccino.
Come mostrano i 3 autori della ricerca, questo sondaggio realizzato da Delphi e Facebook ha fornito stime che sono solo peggiorate con il progredire dell’epidemia.
Sondaggi sui social network meno accurati rispetto ai metodi standard
Gli autori confrontano 3 sondaggi con gli stessi obiettivi: valutare la propensione degli americani a fare la prima dose di vaccino contro il Covid-19.
Il primo sondaggio è stato realizzato su Facebook, il secondo via email/SMS e il terzo tramite una metodologia tradizionale (pannelli):
- Sondaggio Facebook: 250.000 intervistati a settimana
- Sondaggio via e-mail e SMS: 75.000 intervistati a settimana
- Sondaggio panel classico: 1000 intervistati a settimana
Il metodo di amministrazione del sondaggio (Facebook nel primo, e-mail e SMS nel secondo) introduce una distorsione. I primi due sondaggi hanno la particolarità di non controllare chi risponde. In altre parole, non ci sono quote basate sui profili degli intervistati.
Il metodo panel, invece, permette di ottenere una precisione decisamente migliore nonostante una dimensione campionaria molto più piccola di quella delle altre due rilevazioni (“Big Data Paradox”). Per convincersi bisogna guardare il grafico sottostante, che mostra la deriva dei diversi sondaggi mese dopo mese.
Mentre a gennaio 2021 gli errori rimangono minimi, l’accuratezza dei sondaggi basati su campioni molto grandi continua a diminuire fino a maggio 2021. Mentre il tasso di vaccinazione osservato è di circa il 60%, il sondaggio Facebook sovrastima il tasso del 17% e il secondo sondaggio del 14%. Al contrario, il sondaggio con 1000 persone con il metodo delle quote ci consente di limitare l’errore a circa il 3-4%.
Quando campioni di grandi dimensioni sono distorti, l’errore di stima sarà maggiore.
Una dimensione del campione maggiore non garantisce un margine di errore inferior
Nella ricerca di indagine, è paradossale che un campione di grandi dimensioni non porti necessariamente a una migliore precisione. In effetti, la dimensione amplificherà solo la distorsione del campione.
Quindi, da dove vengono gli enormi errori? Dalla stratificazione del campione.
Le 3 indagini si sono stratificate per età e sesso. Ma i pregiudizi sono più profondi.
Il sondaggio di Facebook intervista solo gli utenti di Facebook. Questo è logico ma mortale perché un utente di Facebook non è necessariamente rappresentativo della popolazione nel suo insieme.
Il secondo sondaggio considera solo gli intervistati che possono essere contattati tramite e-mail o SMS. Ciò significa che il 19% della popolazione americana viene ignorato.
La terza indagine garantisce un’ampia varietà di profili degli intervistati. Oltre alla rappresentatività per età e fascia di età, vengono fissate anche le quote:
- Livello scolastico
- Origine etnica
- Opinioni politiche
- Sono inclusi gli intervistati senza e-mail né telefono cellulare (circa l’1% del campione).
Un campione di 250.000 persone può avere la stessa imprecisione di un campione di 10 persone.
Come migliorare la precisione dei tuoi sondaggi?
L’indagine è il metodo più comune di ricerca di mercato. Tuttavia, è importante padroneggiare gli aspetti tecnici per evitare di trarre conclusioni sbagliate.
La dimensione del campione non è tutto e, come abbiamo visto, un campione di 250.000 persone può avere la stessa imprecisione di un campione di 10 persone. Sta tutto nella selezione degli intervistati.
Per migliorare l’accuratezza del sondaggio, si devono selezionare attentamente gli intervistati e comprendere i criteri per sceglierli. Nel caso della vaccinazione contro il Covid-19, ricerche precedenti hanno mostrato l’influenza dell’istruzione e dell’affiliazione politica. Non controllare queste variabili potrebbe portare solo a un disastro statistico.
Prima di avviare un’indagine, è imperativo fare una ricerca bibliografica per scoprire quali fattori possono influenzare il comportamento che si stanno studiando. Sulla base di questi fattori, devi quindi decidere la tua strategia di campionamento. Ci rendiamo conto che questo è un argomento complicato. Quindi, se hai bisogno di aiuto, non esitare a contattarci.
I sondaggi tramite i social network hanno valore?
Quindi, vale la pena porsi la domanda? Qual è lo scopo dei sondaggi tramite i social network e possiamo fidarci di loro? La risposta è semplice: dipende.
Tutto dipende dallo scopo del sondaggio.
Se il tuo sondaggio riguarda gli utenti dei social network, ha senso.
Se il 100% della tua popolazione target utilizza i social network, ha senso.
Ma non ne vale se, per caso, alcuni dei tuoi intervistati target non sono sui social network.
Un ultimo consiglio: Non prendere in considerazione il sondaggio sui social network se vuoi ricercare un mercato B2B. Non avrebbe senso.
Posted in Ricerca.
