Archivo de la etiqueta: Técnicas utilizadas en la planificación

|COLABORACIONES|, |DOCENCIA E INVESTIGACIÓN|

Técnicas utilizadas en la planificación (4). Encuestas

25 abril, 2017 Colaborador Deja un comentario

A raíz de una conversación acerca de la encuesta que realizó hace unas semanas una consultora de movilidad para la expansión de biciMAD, Andrés García (que es una de las personas que conozco que más saben del tema) nos regala en este espacio una pequeña guía práctica para diseñar encuestas. Como el post surgió a raíz de la encuesta de BiciMAD, veréis que parte de los ejemplos están sacados de ella. A partir de aquí, la autoría del texto corresponde a Andrés.

Nota: el contenido del post pretende simplemente recomendar, y servir de guía al diseñar una encuesta. Cualquier variación es válida si está debidamente justificada.

La encuesta, a priori, debería proporcionar datos suficientes que sirvan de apoyo para conocer dónde deberían ubicarse las nuevas estaciones del sistema. Pero vayamos por partes.

¿Cuál es el objetivo de la encuesta y la mejor forma de conseguirlo?

Se trata del punto más importante: hay que pensar en el después. Cualquier encuesta debe tener un objetivo. Sirviéndonos del ejemplo de BiciMAD, el objetivo sería conocer cuál es la ubicación óptima de las nuevas estaciones del sistema en una futura ampliación. A continuación, se debe elegir el tipo de análisis estadístico más apropiado para conseguir el objetivo: análisis de regresión, análisis factorial, análisis IPA (Importance-Performance-Analysis), árboles de decisión, etc. Algunos estudios requieren diseñar encuestas más complejas (por ejemplo, encuestas de preferencias declaradas, donde se muestran situaciones de elección hipotéticas basadas en la experiencia particular del encuestado). En función del tipo de análisis, las preguntas deberían formularse de forma distinta. Por ello, recomendamos dedicar el mayor tiempo posible a esta tarea.

Por ejemplo, en el caso de querer realizar un análisis IPA, se deben incluir preguntas relacionadas con la importancia en general de diversos factores, y también sobre la satisfacción que generan en particular (importancia-satisfacción del sistema de pedaleo eléctrico asistido, del diseño de bicicletas, del pago por uso, etc.).

En la encuesta de BiciMAD se han incluido preguntas sobre satisfacción, pero no sobre importancia. Por lo tanto, no sería posible realizar un análisis IPA (que podría ser interesante en este caso).

¿Cuál es el medio más apropiado?

Las encuestas generalmente se pueden completar in-situ u online. También podrían realizarse por teléfono o con la ayuda de un dispositivo móvil in-situ. Cada medio tiene ventajas y desventajas. Mostramos las más importantes en la siguiente tabla:

En la encuesta de BiciMAD, la opción elegida parece la más apropiada. El porcentaje de usuarios con edad avanzada es muy bajo, y por tanto el medio online ofrece numerosas ventajas y casi ninguna desventaja.

Siempre es una buena idea utilizar varios medios (por ejemplo, primero online y más tarde en papel con un público objetivo de edad avanzada). Algunas desventajas del medio online también pueden evitarse. Por ejemplo, se puede proporcionar un código único por persona de forma que solamente pueda contestar la encuesta una vez.

En la encuesta de BiciMAD, se debe indicar el correo electrónico del usuario utilizado al registrarse, por lo que no sería posible que una persona contestara a la encuesta en más de una ocasión. En este punto, cabe realizar una reflexión, puesto que la encuesta está restringida a usuarios del sistema. Si son usuarios podríamos pensar que las condiciones actuales del servicio (tarifa, ubicación de las estaciones, etc.) les satisfacen y que por ello lo usan. Pero por otra parte, el objetivo de la encuesta es precisar dónde ubicar nuevas estaciones al ampliar el sistema. ¿No sería entonces recomendable que la muestra no se limitara únicamente a usuarios? Teniendo en cuenta que uno de los objetivos de cualquier ampliación es conseguir nuevos usuarios, la muestra final debería estar formada por usuarios y no usuarios (modificando algunas preguntas para los últimos; ver el apartado de ‘la lógica de la encuesta’).

Incentivos para realizar la encuesta

Se debe pensar qué incentivos ofrecer para que un mayor porcentaje de usuarios completen la encuesta. Como cabe esperar, no todos los usuarios que reciban un correo con el enlace a la encuesta van a contestarla. La experiencia me dice que el porcentaje de respuesta se sitúa por debajo del 10%. Con los incentivos adecuados se pueden conseguir ratios de respuesta de hasta el 25%.

Según la experta en encuestas Sigal Kaplan, es preferible ofrecer la mayor cantidad posible de incentivos aunque su valor no sea elevado, a ofrecer uno único de una cuantía elevada.

En la encuesta de BiciMAD se ofrecen 50 bonos de 20€ para gastar en el servicio, lo cual coincide con esta recomendación.

La lógica de la encuesta

El siguiente paso consiste en esquematizar la estructura lógica de la encuesta. Las encuestas comúnmente son lineales (todos los encuestados responden las mismas preguntas), pero quizás sería interesante diseñar varios caminos en función de la respuesta a una pregunta concreta. A modo de ejemplo, se podrían formular preguntas distintas en función de la edad, género y la frecuencia de uso del sistema.

También se recomienda utilizar preguntas condicionadas a respuestas anteriores. Por ejemplo, si un encuestado declara que dispone de una bicicleta particular se le podría preguntar para qué motivos la usa. En caso contrario, si su respuesta es que no dispone de una, se podría conseguir que la pregunta acerca de los motivos de uso no apareciera (puesto que no tiene sentido) con una condición lógica.

Tiempo máximo recomendado

No existe una recomendación clara, pues el fin justifica los medios. Se debe intentar que no supere los 10 minutos, como regla general. No obstante, si un incremento de 5 minutos supone obtener información valiosa estaría totalmente justificado.

Introducción

Antes de la primera pregunta, se debe incluir una breve descripción de quién realiza la encuesta, cuál es su objetivo y el tiempo aproximado en completarla. También es recomendable incluir algún logo, pues da confianza al encuestado.

Estructura e identificación del encuestado

La encuesta debe estar estructurada y seguir un orden lógico. Imaginemos una encuesta de movilidad dirigida a usuarios de coche. En primer lugar se podría preguntar por las pautas generales de movilidad, a continuación por las pautas específicas de movilidad en coche, y por último por los datos socioeconómicos del individuo (más adelante trataremos este punto). También es buena idea dividir la encuesta en varias partes, de forma que cada ventana muestre una parte (en caso de realizarse de forma online). La estructura, sus partes, y las preguntas que componen cada una de ellas deben identificar al encuestado todo lo posible. No obstante, siempre hay que tener en cuenta que cualquier pregunta adicional aumenta el tiempo total necesario para contestar la encuesta. Es preciso mantener un cierto equilibrio.

En la encuesta de BiciMAD no se pregunta nada acerca de las pautas de movilidad generales (modos, frecuencia de uso de cada modo, motivos de desplazamiento, etc.). Estos datos ayudarían, sin duda, a la hora de interpretar los resultados de las preguntas que sí se han incluido, y que se refieren exclusivamente a las pautas de movilidad específicas de BiciMAD.

Tipos de pregunta

Existen multitud de tipologías de preguntas: de respuesta única, multi-respuesta, ranking, escala, cuadro en blanco para escribir, etc. En general, la recomendación es obtener la máxima información con el menor número posible de preguntas. Éstas deben cumplir la regla de la ‘triple C’: ser Claras, Concisas y Completas.

En general, deben evitarse las preguntas multi-respuesta pues casi siempre es posible obtener más información cambiando el tipo de pregunta. Los cuadros en blanco para escribir también generan problemas, pues hay que codificar las respuestas, y creedme, no es nada sencillo. Este tipo de pregunta debería reservarse por si el encuestado quiere enviar alguna observación o sugerencia.

En la encuesta de BiciMAD, dentro del nivel de servicio, las dos primeras preguntas son multi-respuesta: “De las siguientes incidencias […], ¿cuáles son las tres que […]?” Una pregunta de tipo ranking obtendría más información, o mejor aún, preguntas de importancia-satisfacción en una escala de 1 a 5. En este caso, ¿es relevante que un usuario se encuentre desperfectos en un anclaje si no es importante para él? Claramente, no. Otro ejemplo: en la pregunta 3 del nivel de servicio: “¿Te resulta fácil contactar con BiciMAD en caso de haber tenido alguna incidencia?” se da la opción de responder sí o no. ¿No sería mejor incluir una escala de 1 a 5 para obtener más información?

En cuanto a las preguntas de tipo escala, se desaconseja utilizar escalas de 1 a 10. La razón es que el rango de respuestas es demasiado grande. Cada persona tiene una percepción distinta de lo que es un 9 o un 7, por lo que es aconsejable acotar el rango. Según David Lois, un destacado psicólogo dedicado a temas de movilidad con gran experiencia en diseño de encuestas, lo óptimo es usar escalas de 1 a 5 o de 1 a 7 (siendo preferible utilizar ésta última). Las escalas SIEMPRE tienen que ser impares, de forma que exista un punto intermedio (valoración neutra). En el caso de las escalas de 1 a 10 no se cumple, pues el número de valores es par. También se desaconseja utilizar escalas que empiecen en 0, ya que es no es fácil tratarlo en análisis estadísticos. Por último, se debe definir el significado de los valores extremos de una escala (por ejemplo, 1 significa poco importante y 7 muy importante), pero nunca los valores intermedios pues podrían condicionar algunas respuestas.

También habría que considerar el hecho de incluir en preguntas de escala la opción ‘no aplica’ o similar. En la encuesta de BiciMAD, no tiene sentido que un encuestado puntúe el servicio del número 010 si no ha llamado nunca.

El sentido de las escalas también debe ser lógico. Lo más normal es que el valor situado en la izquierda de la escala sea ‘lo peor’ o lo ‘más bajo’, y que el valor de la derecha sea ‘lo mejor’ o ‘lo más alto’. No obstante es algo indiferente, pero una vez elegido el sentido, todas las preguntas de escala deberían respetarlo. En la encuesta de BiciMAD, las preguntas de escala de 1 a 10 van en sentido ascendente, mientras que en la pregunta 13 del nivel de servicio el sentido es descendente.

Datos socioeconómicos

En general, los psicólogos con los que he trabajado recomiendan siempre preguntarlos al final de la encuesta. Se debe preguntar por la edad, renta, y en algunos casos, por un correo electrónico o teléfono de contacto. Estos datos son delicados y podrían disuadir al encuestado de completar la encuesta si los encuentra al comienzo de la misma. En cualquier caso, su inclusión al principio podría estar justificada si el diseño de la encuesta depende de ellos (por ejemplo, si se diseñan varios caminos en función de la edad o el género).

En cuanto a la edad, es preferible evitar la inclusión de rangos y preguntar directamente por el año de nacimiento. Posteriormente se agradece, pues se pueden formar numerosos grupos de edad sin ninguna restricción.

En cuanto a la renta, SIEMPRE es aconsejable preguntar por la renta familiar neta mensual, y preguntar a su vez por el número de personas que conviven en la unidad familiar. La razón es que si el público objetivo incluye estudiantes (lo cual es frecuente), sus ingresos reales no representan sus pautas de movilidad (y sí lo hace la renta familiar del hogar). Imaginemos que a un estudiante le preguntan el salario de su padre. Le es más fácil aproximarlo si éste se pregunta de forma mensual y neta, que de forma anual y bruta, por ejemplo.

Fase piloto

Personalmente, creo que es algo fundamental. SIEMPRE es aconsejable enviar un borrador de la encuesta a un experto que depure los errores, y que cambie la formulación de algunas preguntas de cara al análisis posterior. La fase piloto también incluye realizar la encuesta al público objetivo, con el fin de descubrir errores, si algo no se entiende, etc. Con los datos obtenidos, además, se pueden realizar análisis con el alfa de Cronbach (que permite identificar si algunas preguntas, a pesar de formularse de forma distinta, se repiten o no se entienden).

Feedback posterior

Los encuestados agradecerán si, una vez finaliza la campaña de encuestas, reciben un breve resumen (una página) con los resultados más importantes. Así se les hace partícipes del proceso, y ayudará a que participen nuevamente en futuros estudios.

Otras consideraciones

El uso del ‘tú’ o el ‘usted’. No existe una recomendación general, por lo cual dependerá de la situación y del público objetivo. No obstante, debe utilizarse la misma persona en toda la encuesta. En la encuesta de BiciMAD no es así.

Otras observaciones de la encuesta de BiciMAD

A continuación pasaremos a enumerar otras consideraciones sobre la encuesta de BiciMAD (relacionadas con los puntos anteriores), que ayudarían a mejorar la calidad de los datos obtenidos:

¿Qué preguntas de la encuesta de BiciMAD ayudarían a elegir la ubicación de nuevas estaciones? Bajo mi punto de vista, ninguna. Se han olvidado parcialmente del objetivo de la encuesta. Los canales de información de BiciMAD y sus servicios telefónicos tienen un peso del 20% en la encuesta (5 de 25 preguntas), algo desproporcionado. Volviendo al objetivo de la encuesta, con la pregunta sobre la satisfacción de la disposición geográfica de las estaciones podría conocerse si los criterios de ubicación utilizados hasta el momento han sido o no bien recibidos, pero poco más. Las dos preguntas del final no dejan de ser una opinión subjetiva, y quizás influenciada por el egoísmo. “¿En qué zonas crees que sería conveniente implantar nuevas estaciones de BiciMAD?” Pues en la puerta de mi casa, dirían muchos. El análisis IPA podría ser adecuado para solucionar este problema, si se incluyeran preguntas de importancia y satisfacción sobre proximidad de estaciones de BiciMAD a estaciones de metro, paradas de autobús y otras dotaciones o instalaciones, densidad de estaciones, distancia y tiempo a la estación más próxima en origen y destino, o proximidad a vías ciclistas.

La encuesta se realiza en unos 5 minutos aproximadamente, lo cual da un margen de tiempo valioso para incluir otras preguntas en caso de que la información obtenida lo justifique. En este caso, así es. Podría preguntarse:

Si el encuestado dispone de bicicletas en casa (hecho que influye sobre el uso del sistema, percepciones, etc.).
Tarifas (influyen en la frecuencia y motivo de uso).
¿Utilizarías BiciMAD con mayor frecuencia si…?

Por último, es esencial conocer el motivo de viaje al utilizar BiciMAD. Y en la encuesta no se pregunta correctamente. Ésta muestra las opciones “desplazamientos laborales, de ocio, ambos y otros”. La experiencia me dice que muy pocos encuestados responderán y, más importante, escribirán, en la opción “otros”. Debería incluirse el motivo “ir al centro”, que aunque está englobado dentro de ocio, es un viaje demasiado característico para que aparezca como una opción más. Otro motivo por el que BiciMAD se usa, y mucho, es “salir de noche”.

Cabe pensar que un usuario de BiciMAD utiliza el sistema por diferentes motivos, y cada uno con una frecuencia diferente. Esto no se capta con las preguntas de motivo y frecuencia en la encuesta de BiciMAD. ¿Cuál sería la solución? Incluir una matriz con los motivos en filas y la frecuencia en columnas, con lo que se consigue la máxima información posible.

Andrés García Martínez es Ingeniero de Caminos, Canales y Puertos especializado en Transportes. Actualmente está realizando actualmente sus estudios de doctorado en el Centro de Investigación del Transporte (TRANSyT), en el área de Gestión de la Movilidad, donde además participa en varios proyectos relacionados con la ciudad y su movilidad (y donde coincidí con él). Además, es editor en ecomovilidad.net. Estad muy atentos a él porque mi apuesta personal es que va a ser uno de los gurús del transporte en un plazo muy corto.

|DOCENCIA E INVESTIGACIÓN|, |PUBLICACIONES PROPIAS|, SmartCities

Técnicas utilizadas en la planificación (3). Algoritmos de caminos mínimos

14 abril, 2016 Samir Awad Núñez Deja un comentario

Seguimos con la tercera entrega de la serie sobre “Técnicas utilizadas en la planificación”. En esta ocasión es el turno de los algoritmos:

Aunque parezca que en matemáticas nunca hay disensos porque es una ciencia estructurada, esto no es así del todo. Y una prueba de ello es que para el término algoritmo no existe una definición siquiera intencional (es decir, aquella que proporciona todas las propiedades que requiere un objeto para estar incluido en el término definido).

Sí que hay cierto consenso al señalar que los algoritmos responden a conjuntos prescritos de instrucciones o reglas bien definidas, ordenadas y finitas que permiten resolver un cálculo o, lo que es lo mismo, un número finito de pasos que convierten los datos de un problema (inputs) en una solución (outputs). Pero no está tan claro qué debe pasar entre medias para decidir qué es y qué no es un algoritmo.

Aunque dicho así suene muy complicado, pues permite tantos refinamientos como queramos, hay algoritmos tan sencillos como la suma y la resta, pues las operaciones son casos particulares de los algoritmos. Y además, aunque parezca algo muy abstracto, los algoritmos están presentes en nuestra vida cotidiana a través de gran parte de los objetos y aparatos que utilizamos cada día.

La descripción de un algoritmo usualmente se hace en tres niveles:

1. Descripción de alto nivel. Donde se establece el problema, se selecciona un modelo matemático y se explica el algoritmo de manera verbal y omitiendo detalles particulares. En algunos casos, también resulta adecuado representar diagramas de flujo que muestren los diferentes pasos para alcanzar la solución.

2. Descripción formal. Para ella se emplea lo que se denomina pseudocódigo y no es más que una descripción de la secuencia de pasos que se siguen para alcanzar la solución.

3. Implementación. Se desarrolla el algoritmo expresado en un lenguaje de programación específico.

Los algoritmos de caminos mínimos

El problema del camino más corto es el aquel que consiste en encontrar un camino entre dos nodos de manera que la suma de los costes de los nodos que lo constituyen es mínima. Por supuesto, este tipo de algoritmos permiten estudiar costes de trayecto diferentes, como la distancia, el tiempo de viaje, el coste generalizado, etc. Y no sólo eso, sino que es posible trabajar con matrices de adyacencias donde no sólo se representen costes medidos sino también ponderados. Un ejemplo clásico en el mundo del transporte es la penalización de cada modo de que se emplea en la 3ª etapa de los modelos de demanda de transporte (recordemos que son: 1) Generación de viajes, 2) Distribución de viajes; 3) Selección modal y 4) Selección de ruta. Por eso, se suele hablar de «modelos de cuatro etapas»).

Los algoritmos más importantes para resolver este problema son:

Dijkstra: resuelve el problema de los caminos más cortos desde un único nodo origen hasta todos los otros nodos del grafo (aunque aplicando una regla de repetición del algoritmo, se puede automatizar la resolución del problema desde todos los nodos de origen hasta todos los nodos del grafo).

Bellman-Ford: resuelve el problema de los caminos más cortos desde un origen permitiendo que la ponderación de los nodos sea negativa.

Algoritmo de Búsqueda A*: resuelve el problema de los caminos más cortos entre un par de nodos usando la heurística para agilizar la búsqueda.

Algoritmo de Floyd-Warshall: resuelve el problema de los caminos más cortos entre todos los nodos.

Algoritmo de Johnson: resuelve el problema de los caminos más cortos entre todos los nodos y puede ser más rápido que el de Floyd-Warshall en grafos de baja densidad.

Algoritmo de Viterbi: resuelve el problema del camino estocástico más corto con un peso probabilístico adicional en cada nodo.

El algoritmo Dijkstra

El algoritmo que más conozco es el de Dijkstra y es del que quiero comentar algunas cosillas. Su nombre se refiere a Edsger Dijkstra, quien lo describió hace ya más de medio siglo, en 1959. La idea que subyace consiste en ir explorando, a través de una estrategia de búsqueda especializada, el camino más corto que parte de un nodo origen y que llevan a todos los demás nodos de un grafo. Veamos en el siguiente vídeo cómo funciona:

Sin embargo, este algoritmo tiene algunas limitaciones, siendo la fundamental que no funciona en grafos con aristas de coste negativo puesto que se producen inestabilidades en la estrategia de búsqueda. Y otra importante es que no es directamente paralelizable, algo muy importante para los procesos que se engloban dentro del Big Data. Pero sí que permite formulaciones muy flexibles para modelizar problemas de transporte y la programación de sumideros para evitar el uso de pesos negativos. Además, pasa a ser paralelizable si empleas el ingenio y bastante tiempo de trabajo y tienes la suerte de que la inspiración de cómo salvar el problema te pilla o trabajando o con una libreta/un móvil a mano. Eso sí, ésta es la parte que ya no cuento porque ahí radica parte de la solución del proyecto de la UE en el que ando metido y con el que, mis compañeros y yo, pretendemos revolucionar la toma de datos de usuarios de transporte, así como el establecimiento de las líneas de deseo y de las rutas de transporte.

En @LetsB_us ya hemos visto a nuestro algoritmo correr. Le cuesta menos correr que andar… qué le vamos a hacer…

— Samir Awad Núñez (@samirawadnunez) 28 de marzo de 2016

Espero que os haya gustado este post y ya irá habiendo más entregas de esta serie sobre “Técnicas utilizadas en la planificación”.

|DOCENCIA E INVESTIGACIÓN|, Investigación, Metodologías científicas

Técnicas utilizadas en la planificación (2). El estimador diff-in-diff

11 febrero, 2016 Samir Awad Núñez 2 comentarios

La UE nos sorprendió a todos la semana pasada con una noticia malísima: va a permitir a los fabricantes que los coches contaminen más. No debía cumplir las normas ninguno de los ellos, pero la solución alcanzada, lejos de castigarles por no cumplir una normativa comunitaria ya asentada, da vía libre a la piratería y sienta un triste precedente que dice mucho y no precisamente bueno de la UE. Y es que, cuando por fin parecía haber calado el mensaje de que las Administraciones Públicas deben velar por un reparto modal, tanto de pasajeros como de mercancías, que prime el uso de los modos de transporte más respetuosos con el medio ambiente por la evidente relación entre los índices de contaminación y determinados problemas que afectan a la salud pública, va la UE y tira por tierra décadas de esfuerzos. Ahora parece que la solución sólo podrá pasar por una fiscalidad menos permisiva con el consumo de combustibles fósiles. Pero esta solución no es una buena medida, pues transmite todos los costes a los usuarios cuando gran parte de la culpa es de los fabricantes…

Aunque tampoco hace falta irse a Bruselas para observar este tira y afloja entre el aprecio al coche a cualquier precio y el respeto a la salud pública. Lo tenemos bien cerca: mientras el ayuntamiento de Madrid se ha fijado el objetivo de reducir los niveles de contaminación, algún alcalde vecino se ha despistado un poco aludiendo a la Constitución como garante para poder conducir cuando y como sea:

EXCLUSIVA: Hemos encontrado la Constitución que lee @davidperez #ContaminaciónMadrid pic.twitter.com/YnbnhfEm9K

— ecomovilidad.net (@ecomovilidadMad) febrero 2, 2016

Y, es que, el derecho de los alcorconeros queda garantizado por las alternativas de transporte público y porque, en el supuesto de que se alcanzara el escenario 4 (algo muy poco probable), podrían seguir circulando las motos (no me parece algo positivo, pero han quedado fuera del nuevo protocolo), los vehículos de reparto, los taxis y los coches eléctricos. Pero, es que, aunque no fuera así, ¿debería primar el derecho individual a ir en coche por encima del derecho común a la salud?

En este escenario, eldiario.es publicó el siguiente artículo: «Los picos de contaminación causan un aumento radical en los ingresos hospitalarios». En él se comparan los registros de “ingresos hospitalarios” y “concentración de NO₂» y se concluye que existe relación entre estas dos variables. Pero vamos a analizar cómo podría concluirse de forma algo más adecuada esta cuestión.

A la vista del gráfico que se presentaba en el artículo, hay dos detalles a comentar. El primero es que a los autores del mismo les debieron enseñar una formulación diferente que la que me enseñaron a mí porque le ponen el 2 al dióxido de nitrógeno como superíndice en lugar de como subíndice. El segundo es más puñetero: la correlación no implica causalidad. Es condición necesaria, pero no suficiente (y con cuidado, porque puede ser correlación negativa, no siempre positiva). Y es aquí donde quería llegar para explicar el uso del estimador diff-in-diff.

Técnicas utilizadas en la planificación (2). El estimador diff-in-diff — La imagen original es de https://xkcd.com/552. Sobre la traducción no ha sido posible esclarecerlo porque está por todos lados.

Pero antes me voy a parar a analizar cuán correlacionadas están las dos muestras, porque aunque en el artículo se dé por supuesta, no lo tengo tan claro. Al carecer de datos numéricos, sólo queda la descripción pura y dura: el número de ingresos hospitalarios parece seguir una periodicidad bastante marcada y tener una media más o menos homogénea y cierta homocedasticidad; esto no pasa con la muestra de concentración de NO₂ (por cierto, sin unidades en el gráfico y las unidades son importantes cuando se estudia la correlación. Se suele medir en µg/m³ pero, dado que la superación en el protocolo es de 400 µg/m³ y la escala del gráfico termina en 80, no alcanzo a adivinar las unidades empleadas), que presenta una recurrencia que no puede llegarse a considerar periodicidad, una media que se reduce paulatinamente en el periodo 2006-2013 (ojo, que 2014 parece invertir la tendencia) y una varianza cambiante. Así que, aunque “bailen juntas” en su variación temporal, con una cadencia similar, estas curvas no demuestran tener una correlación fuerte. En todo caso, puede hablarse de coocurrencia, eso es innegable.

Pero supongamos que sí estuvieran correlacionadas, ¿significaría esto que la concentración de NO₂ es la causa de los ingresos hospitalarios? Rotundamente, no. Y lo demuestro con un contraejemplo: el consumo de mozzarella está fuertemente correlacionado con el número de doctorados en ingeniería civil y sin embargo…

… al menos en mi caso, no debe estar motivado por mi consumo de mozzarella porque, aunque el queso en general me encanta, la mozzarella apenas la como. Así que, quizá se trate de una casualidad. Quizá…

El estimador diff-in-diff

En términos generales, es prácticamente imposible demostrar a ciencia cierta la causalidad, pero hay técnicas que la aproximan. Una de ellas consiste en emplear el estimador diff-in-diff (difference in differences). Este estimador, muy empleado en econometría, mide el efecto de aplicar un tratamiento en un determinado periodo de tiempo y compararlo con la tendencia esperada (se distinguen así los grupos de tratamiento y de control). Pero cuidado: la confirmación de causalidad no implica que sea la única causa y a veces varias causas no explican todos los efectos si no tenemos en cuenta las sinergias (correlaciones entre las causas).

El método de aplicación del estimador diff-in-diff consiste simplemente en sacar diferencias (restas), primero en dos momentos distintos para cada individuo y luego entre el promedio del grupo tratamiento y el del grupo control. Esta aplicación puede realizarse como un test de diferencia de medias entre estos dos grupos de observaciones o puede implementarese a través de una regresión econométrica. Sin entrar en el aparato matemático que sustenta el método (si lo queréis ver, lo tenéis por ejemplo, en estas referencias: enlace 1, enlace 2), lo que se evalúa es si la variable dependiente presenta variaciones significativas en el grupo de tratamiento respecto al grupo de control que sean atribuibles a las diferencias introducidas en la variable independiente. Esto se suele estudiar a través de tres métricas: 1) endogeneidad, 2) correlación intragrupo y 3) autocorrelación. Si hay diferencias entre ambos grupos antes y después de la aplicación de la medida de diferenciación, la variable dependiente será consecuencia de la variable independiente (en realidad, en estadística todo es siempre más tibio y se dice que no parece que sean independientes, pero no se habla tal cual de causa y consecuencia). De este modo, un caso de causalidad es algo tal que así:

Al no tener los datos numéricos, no puedo decir si efectivamente hay causalidad en el ejemplo presentado, sólo que la forma más sencilla de demostrarla es con el operador diff-indiff. Eso sí, aunque dudo de la metodología empleada no dudo de las conclusiones, a la vista de tantos estudios (enlace 1, en castellano; enlace 2, en inglés). Ahora sólo cabe esperar que la UE y el alcalde de Alcorcón recuperen la cordura.

Nota:

Hay un «pero» en este planteamiento y, aunque lo he apuntado, prefiero repetirlo para dejarlo claro porque no es baladí: normalmente las consecuencias no tienen una causa única sino un cóctel de causas y evaluar la fortaleza de cada una no se puede medir con sencillez con el estimador diff-in-diff. Y para ello suele ser más apropiado ir hacia análisis factorial, estadística inferencial o técnicas de minería de datos/inteligencia artificial, como las Redes Bayesianas. Quizá me anime y la próxima técnica de esta serie sean las Redes Bayesianas, pero no lo prometo porque la verdad es que he terminado un poco harto de ellas por la Tesis.

Actualización:

Me pasan por Twitter dos estudios sobre el tema que emplean diseño experimental, que es una técnica estadística que consiste en usar varios grupos y comparar sus comportamientos antes la manipulación de una o varias variables. Como veis, lo mismo que diff-in-diff, pero desde la perspectiva médica en lugar de desde la perspectiva econométrica. Los podéis leer en [enlace 1] y [enlace 2].

|DOCENCIA E INVESTIGACIÓN|, Docencia, Geografía del transporte, Investigación, Logística, Metodologías científicas, Puertos Secos

Técnicas utilizadas en la planificación (1). La metodología DELPHI

22 septiembre, 2014 Samir Awad Núñez 4 comentarios

La decisión entre las consideraciones puramente técnicas y los costes de los proyectos se ha realizado tradicionalmente por medio del Análisis Coste-Beneficio. Desde las últimas décadas del s. XX, la conservación del medio ambiente se ha configurado como una variable que ha ido ganando importancia en la planificación y construcción de las infraestructuras de transporte, lo que contribuyó decisivamente en la formalización de un modelo de toma de decisiones basado en el uso de múltiples criterios de análisis, el Análisis Multicriterio. Si bien algunos de estos efectos se incluyen en ocasiones dentro del Análisis Coste-Beneficio o figuran dentro del Análisis Multicriterio, se carece de una sistemática de análisis. Aparte ya de la consideración de criterios no mesurables…

Por ello, se están tratando de aplicar técnicas novedosas para resolver problemas de planificación. Las más importantes que se han implementado son: análisis de clúster, árboles de clasificación y de decisión, análisis de escenarios futuros (simulación), metodología DELPHI, Sistemas Expertos (Redes Bayesianas y Redes Neuronales Artificiales) y Sistemas de Información Geográfica.

En este post voy a hablar de una de las técnicas que utilicé en mi Tesina: la metodología DELPHI. Sin embargo, no pretendo explicar absolutamente todo sobre esta técnica sino aproximar el concepto y comentar cómo lo apliqué a la Tesina.

De todos modos, si quieres aclarar cualquier punto o si tienes alguna pregunta para resolver otro problema, no dudes escribirme a través del contacto de esta web.

¿Qué es la metodología DELPHI?

Se trata de un método de estructuración de un proceso de comunicación grupal para tratar un problema complejo o con múltiples criterios a tener en cuenta.

Se basa en el análisis de las ideas de un grupo de expertos que se especializan en un campo de conocimiento en la búsqueda de un consenso de opinión.

El método DELPHI sigue una estricta metodología. Aunque la literatura científica suele hablar de 4 fases (Definición de objetivos, Selección de expertos, Elaboración y lanzamiento de los cuestionarios, Explotación de resultados), a mí me gusta ir un poco más allá y definir la metodología como un proceso y no como tareas separadas:

Formulación del problema. En esta primera fase se plantea la formulación del problema y un objetivo general que estaría compuesto por el objetivo del estudio, el marco espacial de referencia y el horizonte temporal para el estudio.
Redacción del cuestionario. Lógicamente, hay que redactar un cuestionario para encuestar a los expertos. Las preguntas deben ser claras, concisas y rápidas de contestar, de forma que los expertos se vean predispuestos a responder sin un esfuerzo elevado. Es importante también que haya un espacio para que los expertos expresen su opinión con cierta flexibilidad. Para ello, es bueno habilitar un espacio para sus observaciones al final del cuestionario. El feedback de los expertos resulta fundamental para extraer posteriormente las conclusiones del estudio.
Selección del panel de expertos. Esta fase presenta dos dimensiones: a. Dimensión cualitativa: Se seleccionan en función del objetivo prefijado y atendiendo a criterios de experiencia posición, responsabilidad, acceso a la información y disponibilidad. b. Dimensión Cuantitativa: Elección del tamaño de la muestra en función de los recursos medios y tiempo disponible.

Hay quien prefiere avisar a los expertos antes de lanzar el cuestionario y quien se lo envía directamente. Eso sí, en ambos casos es necesario acudir a más expertos de los que son necesarios en el estudio, de forma que si algunos no finalizan el proceso, el estudio siga teniendo validez.

Además, es recomendable realizar el cuestionario de manera anónima (por ejemplo, haciendo uso del correo electrónico) para evitar los efectos de «líderes».

Primer lanzamiento de los cuestionarios. Se mandan cuestionarios y a esperar las respuestas. Lo ideal es tener ya listos los estadillos para rellenar con la información recabada. Si no, es el momento de hacerlos.
Explotación de los resultados del primer lanzamiento. Consiste en el análisis de las respuestas del cuestionario y el feedback con la información.
Segundo lanzamiento de los cuestionarios. Se suministra a cada experto las opiniones de sus colegas, y se abre un debate transdisciplinario, para obtener un consenso en los resultados y una generación de conocimiento sobre el tema. El objetivo es tratar de conseguir consenso, por medio de la interrogación a expertos con este segundo cuestionario, a fin de poner de manifiesto convergencias de opiniones y deducir eventuales consensos. Cada experto argumentará los pros y los contras de las opiniones de los demás y de la suya propia.
Explotación de los resultados del segundo lanzamiento. El objetivo de los cuestionarios sucesivos, es alcanzar el consenso de los expertos. Aunque la formulación teórica del método Delphi propiamente dicho comprende varias etapas sucesivas de envíos de cuestionarios, de vaciado y de explotación, los estudios se limitan normalmente a dos etapas, lo que sin embargo no afecta a la calidad de los resultados tal y como lo demuestra la experiencia acumulada. Con dos rondas, se reduce el tiempo necesario para realizar el estudio y se evitan así las deserciones que se producen en cada fase del cuestionario.

La metodología DELPHI aplicada a la localización de puertos secos

En mi Tesina, seleccioné un amplio grupo de expertos de las diferentes especialidades que confluyen en mi investigación: logística, sostenibilidad, impacto ambiental, planificación de transportes y geografía. Con esto se busca que los pesos obtenidos sean lo más representativos posible y no hayas sesgos debidos a la especialización de los expertos en un solo área.

Lo que buscaba al final eran los pesos (la importancia) de los 14 criterios que quería tener en cuenta para localizar puertos secos, los cuales había seleccionado tras revisar pormenorizadamente la literatura científica al respecto.

Los pesos obtenidos se utilizan mediante un algoritmo de Análisis Multicriterio Lineal Ponderado para evaluar la calidad de las localizaciones de los puertos secos existentes en España. Pero esto ya lo contaré…

¿Cómo extraje la información sobre los pesos?

Precisamente el principal motivo para escribir este post es que me encontré con que a lo largo y ancho de internet había muchísima información sobre qué es el DELPHI, para qué sirve, quién lo ha aplicado, muchísimos artículos científicos utilizando la técnica para los más diversos estudios… ¡pero no había prácticamente nada sobre cómo se aplica! Y, por supuesto, en castellano aún menos.

Así que, como justo acababa de hacer un curso de estadística aplicada a la investigación experimental, lo primero que hice con los datos fue analizarlos de forma descriptiva. Y me di cuenta de que la mayoría de las representaciones y análisis no me servían para mucho. Salvo los gráficos de Box and Whisker.

Lógicamente, lo que quería era medir el consenso, así que necesitaba que en la segunda fase las cajas fueran más pequeñas que en la primera (y cuanto más pequeñas mejor), que los bigotes no se separaran en exceso y saber qué datos eran atípicos (o muy altos o muy bajos respecto a la mediana). Al fin lo tenía: sólo tenía que medir el rango intercuartílico.

Al principio me emocioné y traté de programarlo en R. ¡ERROR! Después descubrí que existía R-Commander y aquello parecía que me iba a solucionar la papeleta porque ya no estaría frente a una pantalla en blanco sino que tendría barras de herramientas. ¡NUEVO ERROR!

El tiempo apremiaba para entregar la Tesina y acabé optando por SPSS. ¿Para qué tratar de inventar la rueda si ya está inventada y funciona bien? Desde luego, si queréis grandes refinamientos, como estudiar la muestra respecto de la media armónica, establecer límites distintos que los cuartiles, etc, os tocará programar en R. Si vais a usar un Box and Whiskers clásico, SPSS funciona de lujo.

Pero me enfrentaba a otro problema: la mediana es el estadístico de centralización que se usa en estos diagramas y es muy robusto, pero… ¿quién no se hace mejor idea con la media aritmética que con la mediana? Así que opté por trabajar con la mediana y pasar el segundo cuestionario a los expertos con los resultados del primer cuestionario usando la media.

El resto fue hacerme una buena hoja de cálculo para ordenar las respuestas, calcular los rangos intercuartílicos de cada criterio, sacar los diagramas de Box and Whiskers y poco más.

Para finalizar, os muestro qué consenso se alcanzó. Con esto ya estaba todo listo para extraer las conclusiones del estudio. Las tenéis en el paper adjunto al post de la categoría de |Docencia e Investigación| [ver enlace].

Urbanismo y Transporte