A raíz de una conversación acerca de la encuesta que realizó hace unas semanas una consultora de movilidad para la expansión de biciMAD, Andrés García (que es una de las personas que conozco que más saben del tema) nos regala en este espacio una pequeña guía práctica para diseñar encuestas. Como el post surgió a raíz de la encuesta de BiciMAD, veréis que parte de los ejemplos están sacados de ella. A partir de aquí, la autoría del texto corresponde a Andrés.
Nota: el contenido del post pretende simplemente recomendar, y servir de guía al diseñar una encuesta. Cualquier variación es válida si está debidamente justificada.
La encuesta, a priori, debería proporcionar datos suficientes que sirvan de apoyo para conocer dónde deberían ubicarse las nuevas estaciones del sistema. Pero vayamos por partes.
¿Cuál es el objetivo de la encuesta y la mejor forma de conseguirlo?
Se trata del punto más importante: hay que pensar en el después. Cualquier encuesta debe tener un objetivo. Sirviéndonos del ejemplo de BiciMAD, el objetivo sería conocer cuál es la ubicación óptima de las nuevas estaciones del sistema en una futura ampliación. A continuación, se debe elegir el tipo de análisis estadístico más apropiado para conseguir el objetivo: análisis de regresión, análisis factorial, análisis IPA (Importance-Performance-Analysis), árboles de decisión, etc. Algunos estudios requieren diseñar encuestas más complejas (por ejemplo, encuestas de preferencias declaradas, donde se muestran situaciones de elección hipotéticas basadas en la experiencia particular del encuestado). En función del tipo de análisis, las preguntas deberían formularse de forma distinta. Por ello, recomendamos dedicar el mayor tiempo posible a esta tarea.
Por ejemplo, en el caso de querer realizar un análisis IPA, se deben incluir preguntas relacionadas con la importancia en general de diversos factores, y también sobre la satisfacción que generan en particular (importancia-satisfacción del sistema de pedaleo eléctrico asistido, del diseño de bicicletas, del pago por uso, etc.).
En la encuesta de BiciMAD se han incluido preguntas sobre satisfacción, pero no sobre importancia. Por lo tanto, no sería posible realizar un análisis IPA (que podría ser interesante en este caso).
¿Cuál es el medio más apropiado?
Las encuestas generalmente se pueden completar in-situ u online. También podrían realizarse por teléfono o con la ayuda de un dispositivo móvil in-situ. Cada medio tiene ventajas y desventajas. Mostramos las más importantes en la siguiente tabla:
En la encuesta de BiciMAD, la opción elegida parece la más apropiada. El porcentaje de usuarios con edad avanzada es muy bajo, y por tanto el medio online ofrece numerosas ventajas y casi ninguna desventaja.
Siempre es una buena idea utilizar varios medios (por ejemplo, primero online y más tarde en papel con un público objetivo de edad avanzada). Algunas desventajas del medio online también pueden evitarse. Por ejemplo, se puede proporcionar un código único por persona de forma que solamente pueda contestar la encuesta una vez.
En la encuesta de BiciMAD, se debe indicar el correo electrónico del usuario utilizado al registrarse, por lo que no sería posible que una persona contestara a la encuesta en más de una ocasión. En este punto, cabe realizar una reflexión, puesto que la encuesta está restringida a usuarios del sistema. Si son usuarios podríamos pensar que las condiciones actuales del servicio (tarifa, ubicación de las estaciones, etc.) les satisfacen y que por ello lo usan. Pero por otra parte, el objetivo de la encuesta es precisar dónde ubicar nuevas estaciones al ampliar el sistema. ¿No sería entonces recomendable que la muestra no se limitara únicamente a usuarios? Teniendo en cuenta que uno de los objetivos de cualquier ampliación es conseguir nuevos usuarios, la muestra final debería estar formada por usuarios y no usuarios (modificando algunas preguntas para los últimos; ver el apartado de ‘la lógica de la encuesta’).
Incentivos para realizar la encuesta
Se debe pensar qué incentivos ofrecer para que un mayor porcentaje de usuarios completen la encuesta. Como cabe esperar, no todos los usuarios que reciban un correo con el enlace a la encuesta van a contestarla. La experiencia me dice que el porcentaje de respuesta se sitúa por debajo del 10%. Con los incentivos adecuados se pueden conseguir ratios de respuesta de hasta el 25%.
Según la experta en encuestas Sigal Kaplan, es preferible ofrecer la mayor cantidad posible de incentivos aunque su valor no sea elevado, a ofrecer uno único de una cuantía elevada.
En la encuesta de BiciMAD se ofrecen 50 bonos de 20€ para gastar en el servicio, lo cual coincide con esta recomendación.
La lógica de la encuesta
El siguiente paso consiste en esquematizar la estructura lógica de la encuesta. Las encuestas comúnmente son lineales (todos los encuestados responden las mismas preguntas), pero quizás sería interesante diseñar varios caminos en función de la respuesta a una pregunta concreta. A modo de ejemplo, se podrían formular preguntas distintas en función de la edad, género y la frecuencia de uso del sistema.
También se recomienda utilizar preguntas condicionadas a respuestas anteriores. Por ejemplo, si un encuestado declara que dispone de una bicicleta particular se le podría preguntar para qué motivos la usa. En caso contrario, si su respuesta es que no dispone de una, se podría conseguir que la pregunta acerca de los motivos de uso no apareciera (puesto que no tiene sentido) con una condición lógica.
Tiempo máximo recomendado
No existe una recomendación clara, pues el fin justifica los medios. Se debe intentar que no supere los 10 minutos, como regla general. No obstante, si un incremento de 5 minutos supone obtener información valiosa estaría totalmente justificado.
Introducción
Antes de la primera pregunta, se debe incluir una breve descripción de quién realiza la encuesta, cuál es su objetivo y el tiempo aproximado en completarla. También es recomendable incluir algún logo, pues da confianza al encuestado.
Estructura e identificación del encuestado
La encuesta debe estar estructurada y seguir un orden lógico. Imaginemos una encuesta de movilidad dirigida a usuarios de coche. En primer lugar se podría preguntar por las pautas generales de movilidad, a continuación por las pautas específicas de movilidad en coche, y por último por los datos socioeconómicos del individuo (más adelante trataremos este punto). También es buena idea dividir la encuesta en varias partes, de forma que cada ventana muestre una parte (en caso de realizarse de forma online). La estructura, sus partes, y las preguntas que componen cada una de ellas deben identificar al encuestado todo lo posible. No obstante, siempre hay que tener en cuenta que cualquier pregunta adicional aumenta el tiempo total necesario para contestar la encuesta. Es preciso mantener un cierto equilibrio.
En la encuesta de BiciMAD no se pregunta nada acerca de las pautas de movilidad generales (modos, frecuencia de uso de cada modo, motivos de desplazamiento, etc.). Estos datos ayudarían, sin duda, a la hora de interpretar los resultados de las preguntas que sí se han incluido, y que se refieren exclusivamente a las pautas de movilidad específicas de BiciMAD.
Tipos de pregunta
Existen multitud de tipologías de preguntas: de respuesta única, multi-respuesta, ranking, escala, cuadro en blanco para escribir, etc. En general, la recomendación es obtener la máxima información con el menor número posible de preguntas. Éstas deben cumplir la regla de la ‘triple C’: ser Claras, Concisas y Completas.
En general, deben evitarse las preguntas multi-respuesta pues casi siempre es posible obtener más información cambiando el tipo de pregunta. Los cuadros en blanco para escribir también generan problemas, pues hay que codificar las respuestas, y creedme, no es nada sencillo. Este tipo de pregunta debería reservarse por si el encuestado quiere enviar alguna observación o sugerencia.
En la encuesta de BiciMAD, dentro del nivel de servicio, las dos primeras preguntas son multi-respuesta: “De las siguientes incidencias […], ¿cuáles son las tres que […]?” Una pregunta de tipo ranking obtendría más información, o mejor aún, preguntas de importancia-satisfacción en una escala de 1 a 5. En este caso, ¿es relevante que un usuario se encuentre desperfectos en un anclaje si no es importante para él? Claramente, no. Otro ejemplo: en la pregunta 3 del nivel de servicio: “¿Te resulta fácil contactar con BiciMAD en caso de haber tenido alguna incidencia?” se da la opción de responder sí o no. ¿No sería mejor incluir una escala de 1 a 5 para obtener más información?
En cuanto a las preguntas de tipo escala, se desaconseja utilizar escalas de 1 a 10. La razón es que el rango de respuestas es demasiado grande. Cada persona tiene una percepción distinta de lo que es un 9 o un 7, por lo que es aconsejable acotar el rango. Según David Lois, un destacado psicólogo dedicado a temas de movilidad con gran experiencia en diseño de encuestas, lo óptimo es usar escalas de 1 a 5 o de 1 a 7 (siendo preferible utilizar ésta última). Las escalas SIEMPRE tienen que ser impares, de forma que exista un punto intermedio (valoración neutra). En el caso de las escalas de 1 a 10 no se cumple, pues el número de valores es par. También se desaconseja utilizar escalas que empiecen en 0, ya que es no es fácil tratarlo en análisis estadísticos. Por último, se debe definir el significado de los valores extremos de una escala (por ejemplo, 1 significa poco importante y 7 muy importante), pero nunca los valores intermedios pues podrían condicionar algunas respuestas.
También habría que considerar el hecho de incluir en preguntas de escala la opción ‘no aplica’ o similar. En la encuesta de BiciMAD, no tiene sentido que un encuestado puntúe el servicio del número 010 si no ha llamado nunca.
El sentido de las escalas también debe ser lógico. Lo más normal es que el valor situado en la izquierda de la escala sea ‘lo peor’ o lo ‘más bajo’, y que el valor de la derecha sea ‘lo mejor’ o ‘lo más alto’. No obstante es algo indiferente, pero una vez elegido el sentido, todas las preguntas de escala deberían respetarlo. En la encuesta de BiciMAD, las preguntas de escala de 1 a 10 van en sentido ascendente, mientras que en la pregunta 13 del nivel de servicio el sentido es descendente.
Datos socioeconómicos
En general, los psicólogos con los que he trabajado recomiendan siempre preguntarlos al final de la encuesta. Se debe preguntar por la edad, renta, y en algunos casos, por un correo electrónico o teléfono de contacto. Estos datos son delicados y podrían disuadir al encuestado de completar la encuesta si los encuentra al comienzo de la misma. En cualquier caso, su inclusión al principio podría estar justificada si el diseño de la encuesta depende de ellos (por ejemplo, si se diseñan varios caminos en función de la edad o el género).
En cuanto a la edad, es preferible evitar la inclusión de rangos y preguntar directamente por el año de nacimiento. Posteriormente se agradece, pues se pueden formar numerosos grupos de edad sin ninguna restricción.
En cuanto a la renta, SIEMPRE es aconsejable preguntar por la renta familiar neta mensual, y preguntar a su vez por el número de personas que conviven en la unidad familiar. La razón es que si el público objetivo incluye estudiantes (lo cual es frecuente), sus ingresos reales no representan sus pautas de movilidad (y sí lo hace la renta familiar del hogar). Imaginemos que a un estudiante le preguntan el salario de su padre. Le es más fácil aproximarlo si éste se pregunta de forma mensual y neta, que de forma anual y bruta, por ejemplo.
Fase piloto
Personalmente, creo que es algo fundamental. SIEMPRE es aconsejable enviar un borrador de la encuesta a un experto que depure los errores, y que cambie la formulación de algunas preguntas de cara al análisis posterior. La fase piloto también incluye realizar la encuesta al público objetivo, con el fin de descubrir errores, si algo no se entiende, etc. Con los datos obtenidos, además, se pueden realizar análisis con el alfa de Cronbach (que permite identificar si algunas preguntas, a pesar de formularse de forma distinta, se repiten o no se entienden).
Feedback posterior
Los encuestados agradecerán si, una vez finaliza la campaña de encuestas, reciben un breve resumen (una página) con los resultados más importantes. Así se les hace partícipes del proceso, y ayudará a que participen nuevamente en futuros estudios.
Otras consideraciones
El uso del ‘tú’ o el ‘usted’. No existe una recomendación general, por lo cual dependerá de la situación y del público objetivo. No obstante, debe utilizarse la misma persona en toda la encuesta. En la encuesta de BiciMAD no es así.
Otras observaciones de la encuesta de BiciMAD
A continuación pasaremos a enumerar otras consideraciones sobre la encuesta de BiciMAD (relacionadas con los puntos anteriores), que ayudarían a mejorar la calidad de los datos obtenidos:
¿Qué preguntas de la encuesta de BiciMAD ayudarían a elegir la ubicación de nuevas estaciones? Bajo mi punto de vista, ninguna. Se han olvidado parcialmente del objetivo de la encuesta. Los canales de información de BiciMAD y sus servicios telefónicos tienen un peso del 20% en la encuesta (5 de 25 preguntas), algo desproporcionado. Volviendo al objetivo de la encuesta, con la pregunta sobre la satisfacción de la disposición geográfica de las estaciones podría conocerse si los criterios de ubicación utilizados hasta el momento han sido o no bien recibidos, pero poco más. Las dos preguntas del final no dejan de ser una opinión subjetiva, y quizás influenciada por el egoísmo. “¿En qué zonas crees que sería conveniente implantar nuevas estaciones de BiciMAD?” Pues en la puerta de mi casa, dirían muchos. El análisis IPA podría ser adecuado para solucionar este problema, si se incluyeran preguntas de importancia y satisfacción sobre proximidad de estaciones de BiciMAD a estaciones de metro, paradas de autobús y otras dotaciones o instalaciones, densidad de estaciones, distancia y tiempo a la estación más próxima en origen y destino, o proximidad a vías ciclistas.
La encuesta se realiza en unos 5 minutos aproximadamente, lo cual da un margen de tiempo valioso para incluir otras preguntas en caso de que la información obtenida lo justifique. En este caso, así es. Podría preguntarse:
- Si el encuestado dispone de bicicletas en casa (hecho que influye sobre el uso del sistema, percepciones, etc.).
- Tarifas (influyen en la frecuencia y motivo de uso).
- ¿Utilizarías BiciMAD con mayor frecuencia si…?
Por último, es esencial conocer el motivo de viaje al utilizar BiciMAD. Y en la encuesta no se pregunta correctamente. Ésta muestra las opciones “desplazamientos laborales, de ocio, ambos y otros”. La experiencia me dice que muy pocos encuestados responderán y, más importante, escribirán, en la opción “otros”. Debería incluirse el motivo “ir al centro”, que aunque está englobado dentro de ocio, es un viaje demasiado característico para que aparezca como una opción más. Otro motivo por el que BiciMAD se usa, y mucho, es “salir de noche”.
Cabe pensar que un usuario de BiciMAD utiliza el sistema por diferentes motivos, y cada uno con una frecuencia diferente. Esto no se capta con las preguntas de motivo y frecuencia en la encuesta de BiciMAD. ¿Cuál sería la solución? Incluir una matriz con los motivos en filas y la frecuencia en columnas, con lo que se consigue la máxima información posible.
Andrés García Martínez es Ingeniero de Caminos, Canales y Puertos especializado en Transportes. Actualmente está realizando actualmente sus estudios de doctorado en el Centro de Investigación del Transporte (TRANSyT), en el área de Gestión de la Movilidad, donde además participa en varios proyectos relacionados con la ciudad y su movilidad (y donde coincidí con él). Además, es editor en ecomovilidad.net. Estad muy atentos a él porque mi apuesta personal es que va a ser uno de los gurús del transporte en un plazo muy corto.
