Las encuestas con preguntas repetitivas producen datos y resultados de estudio incorrectos – ScienceDaily

El estudio encontró que las personas se cansan de las preguntas que varían solo un poco y tienden a dar respuestas similares a todas las preguntas a medida que avanza la encuesta. Los especialistas en marketing, los encargados de formular políticas y los investigadores que se basan en encuestas extensas para predecir el comportamiento de los consumidores o votantes tendrán datos más precisos si desarrollan encuestas diseñadas para obtener respuestas confiables y originales, sugieren los investigadores.

«Queríamos saber si recopilar más datos en las encuestas siempre es mejor o si hacer demasiadas preguntas podría hacer que los encuestados proporcionen respuestas menos útiles a medida que se adaptan a la encuesta», dijo el primer autor Ye Li, profesor asistente de administración en UC Riverside. . «¿Podría esto, paradójicamente, conducir a hacer más preguntas pero obtener peores resultados?»

Si bien puede ser tentador suponer que más datos siempre es mejor, los autores cuestionaron si los procesos de toma de decisiones que usan los encuestados para responder un conjunto de preguntas podrían cambiar, especialmente cuando esas preguntas usan un formato similar y repetitivo.

La investigación abordó encuestas cuantitativas del tipo que se usa típicamente en investigación de mercado, economía o investigación de políticas públicas que buscan comprender los valores de las personas sobre ciertas cosas. Estas investigaciones a menudo plantean un gran número de preguntas estructuralmente similares.

Los investigadores analizaron cuatro experimentos que pedían a los encuestados que respondieran preguntas relacionadas con la elección y la preferencia.

Los encuestados adaptaron su toma de decisiones mientras respondían preguntas de elección más repetitivas y estructuradas de manera similar, un proceso que los autores llaman «adaptación». Esto significa que han procesado menos información, aprendido a valorar más ciertos atributos o han tomado atajos mentales para combinar atributos.

En uno de los estudios, se preguntó a los encuestados cuáles eran sus preferencias para diferentes configuraciones de portátiles. Eran el tipo de preguntas que usan los especialistas en marketing para determinar si los clientes están dispuestos a sacrificar un poco de tamaño de pantalla a cambio de más almacenamiento, por ejemplo.

«Cuando se le pregunta una y otra vez acerca de las configuraciones de las computadoras portátiles que varían solo un poco, las primeras dos o tres veces las observa detenidamente, pero después de eso tal vez solo observe un atributo, como la duración de la batería. Usamos atajos. Uso de atajos te ayudará. Da menos información si pides demasiada información «, dijo Li.

Aunque se sabe que los humanos se adaptan a su entorno, la mayoría de los métodos de investigación del comportamiento utilizados para medir las preferencias han subestimado este hecho.

«En solo seis u ocho preguntas, las personas ya están respondiendo de tal manera que ya está peor si intenta predecir el comportamiento del mundo real», dijo Li. «En estas encuestas, si le sigues dando a la gente el mismo tipo de preguntas una y otra vez, comenzarán a dar el mismo tipo de respuestas».

Los resultados sugieren algunas tácticas que pueden aumentar la validez de los datos y ahorrar tiempo y dinero. El seguimiento de procesos, una metodología de investigación que rastrea no solo la cantidad de observaciones sino también su calidad, se puede utilizar para diagnosticar el ajuste, lo que ayuda a identificar cuándo representa una amenaza para la validez. La adaptación también podría reducirse o demorarse cambiando repetidamente el formato de la actividad o agregando preguntas de relleno o descansos. Finalmente, la investigación sugiere que para maximizar la validez de las encuestas de medición de preferencias, los investigadores podrían usar un conjunto de métodos, preferiblemente utilizando múltiples medios de medición, como preguntas que impliquen elegir entre opciones disponibles en diferentes momentos, preguntas correspondientes y una variedad de contextos.

«La compensación no siempre es obvia. Más datos no siempre es mejor. Tenga en cuenta las compensaciones», dijo Li. «Cuando tu objetivo es predecir el mundo real, ahí es cuando cuenta».

Li se unió a la investigación de Antonia Krefeld-Schwalb, Eric J. Johnson y Olivier Toubia en la Universidad de Columbia; Daniel Wall en la Universidad de Pensilvania; y Daniel M. Bartels en la Universidad de Chicago. El documento, «Cuanto más pides, menos obtienes: cuando las preguntas adicionales perjudican la validez externa», se publica en Revista de investigación de mercado.