Cuando investigamos a través de cuestionarios online, es habitual incluir una única pregunta en cada página del cuestionario, excepto cuando una serie de preguntas utiliza la misma escala. En estos casos, lo habitual es agrupar las preguntas en una matriz, en la que la pregunta se presenta en la parte superior de la pantalla, mostrándose a continuación una matriz, en la que las opciones de respuestas aparecen en columnas, y los diferentes ítems que los respondientes tienen que valorar aparecen cada uno en una fila, como en el ejemplo siguiente.

Esta manera de presentar preguntas con la misma escala es útil porque evita repetir múltiples veces la misma escala, compactando la presentación de las preguntas y reduciendo el tiempo necesario para responder la encuesta. Varios estudios encuentran tiempos de compleción significativamente cortos cuando se emplean matrices (por ejemplo, Couper, Traugott, & Lamias, 2001; Tourangeau et al., 2004), en comparación a mostrar cada pregunta una por una, ya sea todas juntas en una misma o cada una en una página separada.

Por otra parte, hay evidencia de que utilizar matrices puede aumentar la inter-correlación entre ítems que tratan de un mismo tema (Tourangeau et al., 2004). Sin embargo, otros estudios no han podido encontrar esta relación (e.g. Bell, Mangione, & Kahn, 2001). En cualquier caso, un incremento de la inter-correlación entre ítems no implica necesariamente una mayor fiabilidad de las respuestas obtenidas, sino más bien lo contrario:  puede indicar más efectos de escala (errores sistemáticos debidos a que el uso de una misma escala de forma repetida influye de la misma manera en la selección de la respuesta de los respondientes)  o mayor “non-differentiation”, es decir falta de diferenciación de la respuesta que se produce por la elección siempre de la misma categoría, independientemente de la opinión real del respondiente  (Peytchev, 2005).

Pero el uso de matrices no sólo puede afectar a las respuestas que obtenemos, también puede aumentar la tasa de abandonos (Jeavons, 1998) y el número de valores perdidos (Iglesias, Birk, & Torgerson, 2001, y Toepoel et al., 2009, encuentran eso, pero Couper et al., 2001, encuentran el contrario).

Viendo las diferentes referencias a estudios realizados sobre el uso de matrices, un primer dato sorprendente es la disparidad en los resultados que se obtienen al estudiar un mismo efecto. Estas diferencias en resultados entre estudios puede estar relacionada con el hecho de que en los diferentes estudios se estudian matrices con diferentes características: diferente número de ítems, de categorías de respuestas, formas de presentación, tema de las preguntas… Estos factores varían entre un estudio y otro, por lo que parece lógico que dependiendo de las características exactas de las matrices estudiadas, se puedan encontrar diferentes tipos de resultados.

Una posible razón por la que, en algunos casos, las matrices producen efectos negativos es que parecen más difíciles de responder (Couper et al, 2013). Hay más información agrupada, y eso puede desmotivar a los respondientes. Cuantos más ítems mostramos y más opciones presentamos, más puede dar la impresión de que va a ser complicado o al menos fastidioso responder, lo que puede llevar a los respondientes a utilizar atajos para responder (dejar valores perdidos, marcar la misma opción en todos los ítems o “straight-lining”…).

Reduciendo el tamaño de las matrices (por ejemplo partiéndolas en 2 o 3 matrices más reducidas) y utilizando las posibilidades de Internet para facilitar las tareas que los respondientes deben realizar, se puede limitar el efecto negativo de utilizar matrices (Couper et al, 2013). Por ejemplo, es posible utilizar “dynamic shading”, de manera que cada fila de la matriz cambia su color cuando se ha seleccionado una respuesta de esta fila. También es aconsejable permitir que el respondiente no necesite hacer clic exactamente sobre el selector de respuesta (ya sea un radio-button o un checkbox, normalmente elementos de pequeño tamaño), sino que simplemente marcando en la celda correspondiente de la matriz la opción correcta ya quede marcada.

Pero es cierto que algunas de estas facilidades para el respondiente requieren más esfuerzos de preparación de la encuesta, cuando justamente uno de los principales atractivos del uso de matrices era simplificar esta preparación. También resultaba atractivo el hecho de que los tiempos de respuesta sean más cortos que en la presentación separada de preguntas, pero la satisfacción de los respondientes puede que no esté mejorando (Toepoel et al., 2009) aunque los tiempos sean un poco más cortos. Por último, también era un atractivo de la matriz aumentar la inter-correlación entre ítems pero ya hemos mencionado que ese aumento probablemente se debe más a efectos de escala, lo cual no es positivo.

Viendo el balance de virtudes y defectos de las matrices, es comprensible que varios autores (Poynter, 2001; Wojtowicz, 2001; Dillman, Smyth and Christian, 2009), recomienden usar siempre preguntas separadas, una recomendación a la cual nos sumamos. Las ventajas de la matriz quedan reducidas a una reducción de tiempo – y de coste – que se obtiene a costa de una pérdida calidad.

Referencias bibliográficas:

Bell, D. S., Mangione, C. M., & Kahn, C. E. (2001). “Randomized testing of alternative survey formats using anonymous volunteers on the world wide web”. Journal of the American Medical Informatics Association, 8, 616–620.

Couper, M.P., R. Tourangeau, F.G. Conrad and C. Zhang (2013). “The Design of Grids in Web Surveys”. Social Science Computer Review 2013 31: 322 originally published online 7 January 2013. DOI: 10.1177/0894439312469865

Couper, M.P., Traugott, M., & Lamias, M. (2001). “Web survey design and administration”. Public Opinion Quarterly, 65, 230–253.

Dillman, D. A., Smyth, J. D., & Christian, L. M. (2009). Internet, Mail, and Mixed-Mode Surveys: The Tailored Design Method. New York: Wiley.

Iglesias, C. P., Birks, Y. F., & Torgerson, D. J. (2001). “Improving the measurement of quality of life in older people: The york SF-12”. Quarterly Journal of Medicine, 94, 695–698.

Jeavons, A. (1998). “Ethology and the web: Observing respondent behaviour in web surveys”. Proceedings of the Worldwide Internet Conference, London, ESOMAR.

Peytchev, A. (2005). “How questionnaire layout induces measurement error”. Paper presented at the annual meeting of the American Association for Public Opinion Research, Miami Beach, FL.

Poynter, R. (2001). “A Guide to Best Practice in Online Quantitative Research”. In A. Westlake, W. Sykes, T. Manners, and M. Rigg (Eds.), The Challenge of the Internet; Proceedings of the ASC International Conference on Survey Research Methods (pp. 3–19). London: Association for Survey Computing.

Toepoel, V., Das, M., & van Soest, A. (2009). “Design of web questionnaires: The effects of the number of items per screen”. Field Methods, 21, 200–213.

Tourangeau, R., Couper, M. P., & Conrad, F. G. (2004). “Spacing, position, and order: Interpretive heuristics for visual features of survey questions”. Public Opinion Quarterly, 68, 368–393

Wojtowicz, T. (2001). “Designing Lengthy Internet Questionnaires: Suggestions and Solutions”. In A. Westlake, W. Sykes, T. Manners, and M. Rigg (Eds.), The Challenge of the Internet; Proceedings of the ASC International Conference on Survey Research Methods (pp. 25–32). London: Association for Survey Computing