Este es un post invitado de Daniel Rosenfeld, un estudiante de psicología y gerente de laboratorio de la Universidad de Cornell. Su investigación se centra en la elección de alimentos, la moralidad y la identidad, con un enfoque particular en el vegetarianismo.
Si prefieres ir directo al rap, hay un video real de youtube de un rap real, The P-Hack Rap, aproximadamente a 3/4 del camino de descenso.
————-
Soy un estudiante de pregrado. Tengo solo dos años de experiencia en la realización de investigaciones psicológicas. En este corto tiempo, sin embargo, he desarrollado una inmensa apreciación por el amplio alcance, los logros significativos y las implicaciones prácticas de la ciencia psicológica. Pero también aprendí sobre la replicabilidad científica, y estoy bastante preocupado.
La crisis de replicación
Fuente: Lee Jussim
Me preocupa cómo nosotros, como campo, formaremos a una generación emergente de académicos. Me preocupa que los esfuerzos admirables para resolver una “crisis de replicación” no lleguen a suficientes laicos, incluidos otros estudiantes de pregrado. Me preocupa que los crecientes psicólogos de hoy perderán muchas de las conversaciones que darán forma al futuro de su disciplina.
Al mismo tiempo, soy optimista. Este último semestre, completé un seminario centrado en Los Siete Pecados Capitales de la Psicología de Chris Chambers y discutí dilemas metodológicos, estadísticos y éticos en la investigación psicológica. Aprendí acerca de los movimientos emergentes hacia la ciencia abierta que, en una miríada de formas, intenta sacar a la ciencia psicológica de las sombras de los laboratorios de investigación patentados (donde las hipótesis originales, narración de historias post hoc, prácticas, decisiones estadísticas y un conjunto completo de métodos se guardan a puertas cerradas, conocidas solo en ese laboratorio) y en la luz del día (donde todos pueden ver, y, crucialmente, examinar en busca de errores y sesgos, e intentar replicar usando métodos cercanos al estudio original). Una de esas prácticas es el prerregistro. La preinscripción implica que los investigadores preparen un documento escrito que identifique sus hipótesis originales y los análisis planificados; es importante porque el prerregistro hace que el conjunto completo de prácticas sea mucho más transparente y, a veces, disponible públicamente. Hace transparentes exactamente qué hipótesis se probaron a priori, y cuáles fueron exploratorias, lo que permite a los consumidores de esa investigación (incluidos otros científicos) tener una mejor idea de cuáles son los hallazgos más creíbles y cuáles son más vacilantes.
P-Hacking: La búsqueda de “Importancia estadística”
Aprendí que nosotros, como individuos y como campo, podemos abordar cuestiones apremiantes que amenazan la validez científica al revisar las formas normativas de realizar investigaciones. Aquí, me gustaría compartir mi punto de vista sobre un tema que se discutió extensamente en mi seminario: el concepto de “p-hacking”.
Fuente: Lee Jussim
Para lectores legos: la “p” en valor p significa probabilidad, y uno debajo de .05 se conoce típicamente como “estadísticamente significativo”. Los valores P generalmente se obtienen cuando los investigadores comparan condiciones experimentales o calculan correlaciones. Sin entrar en demasiados detalles, si se cumplen todos los tipos de suposiciones, un valor p es la probabilidad de encontrar una diferencia o correlación observada (o una aún mayor) por azar, si realmente (en el mundo más amplio) es sin diferencia o sin correlación.
Los valores P por debajo de .05 a menudo se toman como “eureka, ¡mis resultados son reales!” Porque a menudo se creía erróneamente que significaba “mis resultados son sistemáticos y válidos, ¡no se deben a la casualidad!” (No significa cualquiera de estas cosas, pero ese es un blog para otro día). Lo que es importante, sin embargo, es que hasta hace muy poco, era casi imposible para los psicólogos publicar sus hallazgos sin un p <.05, es decir, un resultado "estadísticamente significativo". Y, por supuesto, en el mundo de la ciencia académica, es "publicar o perecer", lo que significa que los investigadores de psicología están muy incentivados a "alcanzar" la significación estadística, lo que algunos hacen por cualquier medio posible. Algunos de esos medios son científicamente sólidos, como la obtención de muestras muy grandes; esto "funciona" porque las muestras grandes tienen más "poder" estadístico y, por lo tanto, es más probable que produzcan hallazgos significativos. Pero algunos medios no son tan sólidos.
Lo que nos lleva a p-hackear. Imagine que está realizando un estudio para evaluar el efecto del modo de lectura de libros de texto sobre el rendimiento académico. Seleccionas estudiantes de una clase de introducción a la psicología, haces que tomen un examen y luego los clasifican aleatoriamente en dos grupos. Usted instruye al primer grupo de estudiantes para que lea todos los capítulos de libros de texto próximos a través del libro de texto impreso y el segundo grupo para que los lea a través del libro de texto en línea. Prueba una hipótesis clara: los lectores de libros de texto en línea mostrarán mayores mejoras en el rendimiento en el transcurso de un mes.
Después del examen de seguimiento, analiza los datos. ¡No hubo una diferencia significativa en el cambio de rendimiento entre los dos grupos! “Maldición”, piensas: “Esa no puede ser la historia”. Tal vez leer un libro de texto en línea solo beneficie a los estudiantes que obtuvieron un puntaje inferior al promedio del 80% en el examen de referencia. “Así que vuelve a ejecutar los análisis, esta vez excluyendo a todos los estudiantes que obtuvieron un puntaje del 80% o más al inicio del estudio. : un valor p de .04. Usted escribe esto y concluye que los estudiantes con un rendimiento inferior al promedio que leen libros de texto en línea muestran mayores mejoras académicas y envían su manuscrito para su revisión.
Parece que hiciste que tu estudio funcionara, pero solo con la ayuda de p-hacking. Coloquialmente, se puede pensar que p-hacking “cocina los datos” o “tortura los datos hasta que confiesan” – no es un fraude, en el sentido de que los investigadores no están inventando datos, sino que realizan tantos análisis diferentes sobre la datos que, casi inevitablemente, algo cruzarán el umbral de .05 a “significación estadística”. Cuando el hackeo p es común, en todo un cuerpo de literatura científica, las líneas entre los fenómenos establecidos y el mero ruido estadístico pueden volverse completamente borrosas.
Como campo, necesitamos formas creativas para involucrar a una generación emergente de académicos en conversaciones actuales sobre replicabilidad científica. Se están realizando esfuerzos para hacer que la investigación psicológica sea más transparente, de modo que los problemas y errores puedan identificarse más fácilmente y, por lo tanto, hacer que sus hallazgos sean más reproducibles. Como ahora vemos a los psicólogos celebrando las réplicas directas prerregistradas de los laboratorios independientes sobre sus estudios en las redes sociales, tenemos mucho que ganar enseñando a los estudiosos del mañana sobre los beneficios de una metodología abierta y sólida.
Combinando mi propia participación en la investigación con mi pasión por el hip-hop, escribí un rap sobre p-hacking.
Disfrutar.
El Rap P-Hack
Intentando publicar en revistas
Eso tiene un alto impacto
Pero bastante a menudo, de hecho
Los métodos están lejos de estar intactos
Con un p-hack vemos que
Carecemos de las pruebas a priori adecuadas
Pero en un sistema donde la novedad
Es visto como lo mejor
La validez vuela por la puerta
Como probamos moderadores y más
Perder de vista la realidad
Temiendo un arranque a través de la puerta
Temiendo ser esa persona
Quién tiene un bajo índice H
Porque sus análisis fueron limpios
Con estadísticas morales como Windex
Atascado produciendo resultados nulos
No se adhiere a la encuadernación
Condiciones que definen
Cualquier hipótesis en cualquier momento
Tal vez eliminar este valor atípico
Solo uno, solo para probarlo
Y sin saberlo sucumbir
Para limitar el sesgo de confirmación
O uno puede comenzar a formular hipótesis
Después de conocer los resultados
Solo para hacer un reclamo novedoso
Eso en realidad es exagerado
Como un pescador en el mar
Uno puede carrete para falsos positivos
Descubre un nuevo descubrimiento
Cuando en realidad es lo opuesto
Buscando datos como si fuera una mina de oro
Intentando ganar un buen mérito
Necesita una p menos de .05
Porque es publicar o perecer
Juntos podemos revisar
Normas y sistemas convencionales
Como campo podemos elevarnos
Hacia la sabiduría metodológica
Necesitamos una mayor transparencia
Para vencer esta crisis de replicación
Para superar los sesgos que surgen
Cuando lo dejamos a nuestros propios dispositivos opacos
La revisión comienza con nuevas visiones
Eso enciende nuevas igniciones
El pre registro revelará
Todas esas decisiones post hoc
—————————
Si disfrutaste esto, también puedes disfrutar este poema:
Venganza de Estudiantes de Posgrado
Lee Jussim tuitea como PsychRabble, y puede seguirlo aquí: https://twitter.com/PsychRabble, donde aborda temas de reforma científica, diversidad, prejuicios, estereotipos, discriminación y psicología política.