Cómo evitar ser engañado por las encuestas de opinión

Según un titular en el sitio web de la revista Cosmopolitan , "La encuesta muestra que la mayoría de los estadounidenses piensan que Caitlyn Jenner va a cambiar el mundo". Me arriesgaré a que la mayoría de los estadounidenses se sorprenda al saber que esto es lo que piensan. Tómame, por ejemplo. Soy de la opinión de que Caitlyn Jenner ha hecho más de lo que le corresponde cambiar, muchas gracias. ¿Esto significa que no soy un estadounidense "mostest"?

En realidad, mi artículo no trata sobre Caitlyn Jenner, bendiga su corazón (como decimos los sureños). Se trata de encuestas falibles y las retorcidas interpretaciones de las mismas que informan con frecuencia los medios. Quien escribió el título anterior sabía que era exageración o que no sabía y no le importaba. No sé cuál es peor. Tal vez los dos son (peor, eso es). No hay nada en la encuesta sobre que Jenner cambie el mundo. En el mejor de los casos, sugiere que puede ayudar a impulsar la aceptación de la transgénero.

La encuesta fue realizada conjuntamente por NBC News y la Universidad de Pensilvania. Suena creíble, ¿verdad? Eso es lo que se supone que debes pensar. El propósito de esta encuesta es influenciar tu pensamiento. La implicación no tan sutil es que estás en la minoría que piensa hacia atrás si no estás de acuerdo. ¿Pero por qué esta encuesta, sobre este tema? ¿Y por qué ahora? ¿Qué están vendiendo? Esos son los tipos de preguntas que proporcionan una base para probar los méritos de esta o cualquier otra encuesta.

Si se va a utilizar una encuesta para representar las opiniones de la mayoría de los estadounidenses (o de cualquier otro grupo grande), debe realizarse utilizando una metodología científicamente sólida. De lo contrario, representa nada más que las opiniones de quienes participaron en la encuesta. Ninguna encuesta es absolutamente prístina e impecable. Siempre hay un margen de error de muestreo o sesgo. Necesitamos ver si podemos encontrar los defectos y determinar si son de importancia mínima o mayor. Vamos a descubrir algunas pistas.

La primera pista es muy sutil, como un bate de béisbol que golpea el puente de tu nariz a velocidad warp. La encuesta se realizó utilizando una muestra no probabilística . En lenguaje sencillo, los participantes en la encuesta no fueron seleccionados al azar. A veces, este enfoque es necesario porque el muestreo aleatorio sería demasiado arduo o costoso. Hay varios tipos de muestreo no probabilístico, algunos mejores que otros para este tipo de encuesta. Los encuestadores utilizaron muestras de conveniencia , es decir, confiaron en las personas que se ofrecieron como voluntarios para participar.

El muestreo de conveniencia socava la afirmación de que la mayoría de los estadounidenses está de acuerdo con los resultados. Las personas que se ofrecen como voluntarias para participar pueden tener una agenda personal, una perspectiva sesgada, una conexión emocional con el problema, o pueden estar respondiendo simplemente porque se les prometió una recompensa por participar. (No tengo información sobre si NBC News / UPenn ofrecieron una recompensa). Supongamos que va a realizar una encuesta sobre los puntos de vista de los estadounidenses sobre el aumento del salario mínimo. ¿Confiarías en los resultados si las únicas personas encuestadas fueran aquellas que se ofrecieron voluntariamente para dar su opinión sobre ese tema? Afirmar que los resultados de tal encuesta representarían los puntos de vista de la mayoría de los estadounidenses sería descabellado.

Como es práctica esperada en la investigación académica, los encuestadores de UPenn reconocen estas limitaciones en su metodología:

Debido a que la muestra se basa en aquellos que inicialmente se auto seleccionaron para la participación en lugar de una muestra de probabilidad, no se pueden calcular estimaciones de error de muestreo. Todas las encuestas pueden estar sujetas a múltiples fuentes de error, que incluyen, pero no se limitan a, error de muestreo, error de cobertura y error de medición.

Otra debilidad es que las respuestas de la encuesta se recopilaron a través de encuestas en línea (es decir, a través de Survey Monkey). No hay nada de malo con las encuestas en línea como medio de recopilación de datos. El problema radica en el hecho de que las personas mayores, especialmente las mayores de 70 años, tienen menos probabilidades de responder a una encuesta en línea. Por lo tanto, pueden estar subrepresentados en la muestra, y esto de nuevo socava la afirmación de que la encuesta es representativa de la mayoría de los estadounidenses.

Dado que esta encuesta fue encargada por NBC News y se ha distribuido a otros medios de comunicación, como Cosmopolitan , la suposición razonable es que fue encargada con el propósito de generar noticias y aumentar el porcentaje de audiencia y de clics. (Oh, para esos días felices cuando los medios no dieron la noticia, simplemente la vendieron al por menor).

Los encuestadores de UPenn hicieron todo lo bien que cabía esperar, dado el alcance de su tarea y las limitaciones de tiempo y presupuesto. Sin embargo, un diseño de investigación imperfecto produce resultados imperfectos. Ciertamente, estos no son resultados que respalden la afirmación de que "la mayoría de los estadounidenses piensan que Caitlyn Jenner va a cambiar el mundo".

Mundo a Caitlyn: No vayas cambiando.