Archivo de la categoría: Metodologías científicas

Metodología para la construcción de los indicadores de seguimiento

Aquí va la tercera y última entrega referente a los indicadores de seguimiento. Con la información recogida en este post y los dos anteriores, estamos ya en disposición de generar conjuntos de indicadores para diferentes aplicaciones. En esta ocasión se realiza una descripción detallada del proceso de construcción de un sistema de indicadores de seguimiento.

En el proceso de construcción de los indicadores no existe un procedimiento tipo o una metodología estándar, sin embargo se recomienda tener en cuenta una serie de pasos y requisitos previos que aseguren la coherencia del conjunto de indicadores que se construyan.

El desarrollo de indicadores de seguimiento se justifica en la medida que éstos se insertan a lo largo de toda la organización y permiten informar sobre lo estratégico y los aspectos claves de la gestión. Sin embargo, debe considerarse que también son el soporte para evaluar lo que está pasando con los procesos y los aspectos operativos que contribuyen a los resultados finales. Es así como el proceso de construcción de indicadores de desempeño lleva de manera inherente la implementación de un sistema de control de gestión y de información para la gestión, que permita hacer el seguimiento de las metas y su cumplimiento en el conjunto de la organización.

Un requisito previo para la construcción de los indicadores y el sistema de control de gestión, es trabajar sobre las definiciones estratégicas. Lo anterior implica abordar un proceso de revisión y/o validación de misión (principalmente cuando es la primera vez que se desarrolla el sistema de indicadores), identificación de objetivos y metas, cuyo cumplimiento será medido y evaluado a partir del instrumental desarrollado con los indicadores. Abordar estos requisitos no implica necesariamente redefinir la misión y las definiciones estratégicas de la planificación, si no plantearse los ajustes pertinentes para cumplir lo más adecuadamente con la consecución del objetivo.

A partir de la revisión de las principales experiencias de construcción de indicadores tanto en el ámbito público como privado, se propone el desarrollo de las siguientes etapas, que no necesariamente requieren ser consecutivas, dado que pueden realizarse de forma simultánea y retroalimentarse de forma permanente.

a) Identificar y/o revisar estrategias y objetivos

¿Cuáles son las estrategias y objetivos que serán evaluados?

b) Identificar las dimensiones y ámbitos de desempeño

¿Qué ámbitos y dimensiones del desempeño es conveniente medir?

c) Establecer responsabilidades organizacionales

¿Cuáles serán los Centros de Responsabilidad, o Áreas responsables por el desempeño logrado?

¿A qué niveles realizaremos la evaluación?

d) Establecer los referentes para la comparación

¿Sobre qué comparamos los indicadores para saber si el desempeño es adecuado?

e) Construir las fórmulas o algoritmos

¿Cómo relacionamos las variables de medición?

f) Recopilar la información necesaria

¿Qué datos y antecedentes permitirán construir los indicadores?

g) Validar: aplicar criterios de técnicos y requisitos

¿Cómo sabemos que los indicadores construidos miden efectivamente la gestión y los resultados?

h) Analizar los resultados obtenidos

¿Por qué se produjeron los resultados?

i) Comunicar e informar

¿Quiénes tienen que conocer nuestros resultados?

Así, un esquema del proceso de construcción de estos indicadores, sería similar al propuesto a continuación:

Esquema de propuesta metodológica. Fuente : Tesis de Gonzalo Fernández Sánchez, Propuesta de modelo para la eva-luación de la sostenibilidad en la dirección integrada de proyectos de ingeniería civil, Universidad Politécnica de Madrid (2010)
Esquema de propuesta metodológica. Fuente : elaboración propia inspirada en la Tesis Doctoral de Gonzalo Fernández Sánchez, Propuesta de modelo para la eva-luación de la sostenibilidad en la dirección integrada de proyectos de ingeniería civil, Universidad Politécnica de Madrid (2010).

Características de los indicadores de seguimiento

Esta es la segunda parte de la serie dedicada a los indicadores de seguimiento. Se describen a continuación las características más importantes que deben cumplir los indicadores:

  • Estar inscrito en un marco teórico o conceptual, que le permita asociarse firmemente con el evento al que el investigador pretende dar forma. De ser posible, debe establecerse una estructura que lo ubique en un marco explicativo, como es el caso del modelo presión-estado-respuesta (PER) que utiliza la Organización para la Cooperación y el Desarrollo Económico (OCDE) para el trabajo con indicadores de medioambiente, que los organiza para referenciar situaciones de presión, de estado o de respuesta en torno al tema.
  • Ser específicos, es decir, estar vinculados con los fenómenos económicos, sociales, culturales o de otra naturaleza sobre los que se pretende actuar; por lo anterior, se debe contar con objetivos y metas claros, para poder evaluar el grado de consecución de los mismos y proceder a la toma de decisiones pertinentes. Deben mostrarse especificando la meta u objetivo a que se vinculan y/o a la política a la que se pretende dar seguimiento; para cumplirlas se recomienda que los indicadores sean pocos.
  • Ser explícitos, de tal forma que su nombre sea suficiente para entender si se trata de un valor absoluto o relativo, de una tasa, una razón, un índice, etc., así como a qué se refieren.
  • Estar disponibles para varios años, con el fin de que se pueda observar el comportamiento del fenómeno a través del tiempo, así como para diferentes instalaciones logísticas y/o unidades administrativas. La comparabilidad es un insumo que permite fomentar el desarrollo social o económico de acuerdo con lo que tenemos respecto a los demás o a otros momentos; de hecho, aunque no sean propiamente indicadores de eficiencia, nociones socioeconómicas como producción, pobreza y trabajo sólo son comprensibles en términos relativos. Con estos ejemplos, podemos entender que habrá indicadores en que lo importante no sea el propio valor del indicador sino su variación.
  • Deben ser relevantes y oportunos para la aplicación de políticas, describiendo la situación prevaleciente en los diferentes sectores de gestión, permitiendo establecer metas y convertirlas en acciones.
  • Los indicadores no son exclusivos de una acción específica; uno puede servir para estimar el impacto de dos o más hechos o políticas, o viceversa. Sólo de manera excepcional, un indicador proveerá información suficiente para la comprensión de fenómenos muy complejos; por lo que, para tener una evaluación completa de un sector o un sistema, se requiere de un conjunto de indicadores que mida el desempeño de las distintas dependencias y/o sectores y proporcione información acerca de la manera como éstos trabajan conjuntamente para producir un efecto global.
  • Ser claro, de fácil comprensión para los miembros del equipo encargado de recolectar los datos necesarios para obtener el valor del indicador, de forma que no haya duda o confusión acerca de su significado, y debe ser aceptado, por lo general, como expresión del fenómeno a ser medido. Para cada indicador debe existir una definición, fórmula de cálculo y metadatos necesarios para su mejor entendimiento y socialización.
  • Por lo anterior, es importante que el indicador sea confiable, exacto en cuanto a su metodología de cálculo y consistente, permitiendo expresar el mismo mensaje o producir la misma conclusión si la medición es llevada a cabo con diferentes herramientas, por distintas personas, en similares circunstancias. Que la recolección de la información permita construir el mismo indicador de la misma manera y bajo condiciones similares, año tras año, de modo que las comparaciones sean válidas.
  • Técnicamente debe ser sólido, es decir, válido, confiable y comparable, así como factible, en términos de que su medición tenga un coste razonable.
  • Ser sensible a cambios en el fenómeno, tanto para mejorar como para empeorar.
  • Si bien su selección no debe depender de la disponibilidad de información, sino de los objetivos fijados en los programas y estrategias (dentro de los cuales se inscriben), es importante considerar el coste-beneficio del tiempo y los recursos necesarios para su construcción, por lo que, de preferencia, debe ser medibles a partir del acervo de datos disponible.


Limitaciones de los indicadores de seguimiento

Debido a sus características, los indicadores de seguimiento no están exentos de limitaciones para su conformación; entre la problemática que se puede presentar en su identificación e integración está la siguiente: para la selección de los que se consideren más adecuados para cada objetivo, existen diferentes actores, como los sectores estadístico, público, privado, social, ambiental o académico que no comparten las mismas necesidades de información ni persiguen las mismas metas, lo cual dificulta lograr unanimidad en su definición.

El carácter cuantitativo hace que se generen indicadores sólo de aquello que puede ser medido en cantidad. El uso de indicadores presupone que las metas, así como sus niveles de logro están disponibles e identificables en planes y programas de gobierno y que no hay contradicciones entre los mismos.

El depender de objetivos que son cambiantes, por lo menos en cada nueva administración, no sólo modifica el tipo de indicadores que deben ser empleados, sino también la disponibilidad de datos para conformarlos, lo que implica un ajuste permanente de las fuentes tradicionales de información.

¿Qué son los indicadores de seguimiento?

Una herramienta muy útil para realizar el seguimiento de la planificación y evaluar su grado de cumplimiento son los indicadores de seguimiento. En este post y en los siguientes, veremos algunos conceptos relacionados con ellos. 

Empezamos la serie conociendo qué son:

No existe una definición oficial por parte de algún organismo nacional o internacional, sólo algunas referencias que los describen como: “Herramientas para clarificar y definir, de forma más precisa, objetivos e impactos (…) son medidas verificables de cambio o resultado (…) diseñadas para contar con un estándar contra el cual evaluar, estimar o demostrar el progreso (…) con respecto a metas establecidas, facilitan el reparto de  insumos, produciendo (…) productos y alcanzando objetivos” [1].

Una de las definiciones más utilizadas por diferentes organismos y autores es la que Bauer dio en 1966: “Los indicadores sociales (…) son estadísticas, serie estadística o cualquier forma de indicación que nos facilita estudiar dónde estamos y hacia dónde nos dirigimos con respecto a determinados objetivos y metas, así como evaluar programas específicos y determinar  su impacto” [2].

Si bien los indicadores pueden ser cualitativos o cuantitativos, es preferible utilizar únicamente los segundos siempre que sea posible. Ésta tendencia a cuantificar es habitual a la hora de plantear indicadores que deben ser comparados en el tiempo.

En definitiva, un indicador es un dato que pretende reflejar el estado de una situación, o de algún aspecto particular, en un momento y un espacio determinados. Habitualmente se trata de un dato estadístico (porcentajes, tasas, razones…) que pretende sintetizar la información que proporcionan los diversos parámetros o variables que afectan a la situación que se quiere analizar.

Un indicador se toma o mide dentro de un período de tiempo determinado, para poder comparar los distintos períodos. La comparación de mediciones permite conocer la evolución en el tiempo y estudiar tendencias acerca de la situación que miden, adquiriendo así un gran valor como herramienta en los procesos de evaluación y de toma de decisiones.

En general, para la evaluación de un sistema son necesarios varios indicadores, y en esta evaluación hay que tener en cuenta que los indicadores no son exclusivos para una acción específica, ya que el mismo indicador puede servir para medir el impacto de dos o más elementos.

El objetivo de los indicadores es presentar la información que se considera de más relevancia para el seguimiento y análisis de la eficiencia de diferentes políticas o actividades. El análisis de la evolución de los indicadores y las tendencias a corto y medio plazo permite detectar riesgos emergentes, evaluar los resultados obtenidos por las políticas de actuación y obtener conclusiones que sirvan para orientar la adopción de medidas y políticas adecuadas, tendentes a mejorar la eficiencia de las diferentes operaciones.

Los indicadores deben simplificar al máximo la información sacada de un conjunto de datos complejos y paralelamente, deben satisfacer criterios de claridad, de representatividad y de fiabilidad. Deben ser actualizados cuando lo hagan sus fuentes y analizados desde el punto de vista temporal.

Las fuentes de las que procedan los indicadores deben ser fiables (a poder ser, de organismos oficiales o independientes) y periódicas, para permitir una continuidad en los análisis de la evolución temporal de los indicadores.

Para la caracterización y control de los indicadores, un método fácil y eficaz es realizar una ficha de indicador, donde se incluyan los datos básicos que caracterizan al indicador: definición, método de cálculo, frecuencia de actualización, área temática del indicador, fuentes de información utilizadas y análisis de los resultados obtenidos.

[1] Organización de las Naciones Unidas (ONU). Integrated and coordinated implementation and follow-up of major. United Nations conferences andsummits. Nueva York, Estados Unidos de América, 10 y 11 de mayo de 1999, p. 18.

[2] Horn, Robert V. Statistical indicators for the economic and social sciences. Cambridge, University Press, Hong Kong, 1993, p. 147.

Técnicas utilizadas en la planificación (1). La metodología DELPHI

La decisión entre las consideraciones puramente técnicas y los costes de los proyectos se ha realizado tradicionalmente por medio del Análisis Coste-Beneficio. Desde las últimas décadas del s. XX, la conservación del medio ambiente se ha configurado como una variable que ha ido ganando importancia en la planificación y construcción de las infraestructuras de transporte, lo que contribuyó decisivamente en la formalización de un modelo de toma de decisiones basado en el uso de múltiples criterios de análisis, el Análisis Multicriterio. Si bien algunos de estos efectos se incluyen en ocasiones dentro del Análisis Coste-Beneficio o figuran dentro del Análisis Multicriterio, se carece de una sistemática de análisis. Aparte ya de la consideración de criterios no mesurables…

Por ello, se están tratando de aplicar técnicas novedosas para resolver problemas de planificación. Las más importantes que se han implementado son: análisis de clúster, árboles de clasificación y de decisión, análisis de escenarios futuros (simulación), metodología DELPHI, Sistemas Expertos (Redes Bayesianas y Redes Neuronales Artificiales) y Sistemas de Información Geográfica.

En este post voy a hablar de una de las técnicas que utilicé en mi Tesina: la metodología DELPHI. Sin embargo, no pretendo explicar absolutamente todo sobre esta técnica sino aproximar el concepto y comentar cómo lo apliqué a la Tesina.

De todos modos, si quieres aclarar cualquier punto o si tienes alguna pregunta para resolver otro problema, no dudes escribirme a través del contacto de esta web.

¿Qué es la metodología DELPHI?

Se trata de un método de estructuración de un proceso de comunicación grupal para tratar un problema complejo o con múltiples criterios a tener en cuenta.

Se basa en el análisis de las ideas de un grupo de expertos que se especializan en un campo de conocimiento en la búsqueda de un consenso de opinión.

El método DELPHI sigue una estricta metodología. Aunque la literatura científica suele hablar de 4 fases (Definición de objetivos, Selección de expertos, Elaboración y lanzamiento de los cuestionarios, Explotación de resultados), a mí me gusta ir un poco más allá y definir la metodología como un proceso y no como tareas separadas:

  1. Formulación del problema. En esta primera fase se plantea la formulación del problema y un objetivo general que estaría compuesto por el objetivo del estudio, el marco espacial de referencia y el horizonte temporal para el estudio.
  2. Redacción del cuestionario. Lógicamente, hay que redactar un cuestionario para encuestar a los expertos. Las preguntas deben ser claras, concisas y rápidas de contestar, de forma que los expertos se vean predispuestos a responder sin un esfuerzo elevado. Es importante también que haya un espacio para que los expertos expresen su opinión con cierta flexibilidad. Para ello, es bueno habilitar un espacio para sus observaciones al final del cuestionario. El feedback de los expertos resulta fundamental para extraer posteriormente las conclusiones del estudio.
  3. Selección del panel de expertos. Esta fase presenta dos dimensiones: a. Dimensión cualitativa: Se seleccionan en función del objetivo prefijado y atendiendo a criterios de experiencia posición, responsabilidad, acceso a la información y disponibilidad. b. Dimensión Cuantitativa: Elección del tamaño de la muestra en función de los recursos medios y tiempo disponible.

Hay quien prefiere avisar a los expertos antes de lanzar el cuestionario y quien se lo envía directamente. Eso sí, en ambos casos es necesario acudir a más expertos de los que son necesarios en el estudio, de forma que si algunos no finalizan el proceso, el estudio siga teniendo validez.

Además, es recomendable realizar el cuestionario de manera anónima (por ejemplo, haciendo uso del correo electrónico) para evitar los efectos de «líderes».

  1. Primer lanzamiento de los cuestionarios. Se mandan cuestionarios y a esperar las respuestas. Lo ideal es tener ya listos los estadillos para rellenar con la información recabada. Si no, es el momento de hacerlos.
  2. Explotación de los resultados del primer lanzamiento. Consiste en el análisis de las respuestas del cuestionario y el feedback con la información.
  3. Segundo lanzamiento de los cuestionarios. Se suministra a cada experto las opiniones de sus colegas, y se abre un debate transdisciplinario, para obtener un consenso en los resultados y una generación de conocimiento sobre el tema. El objetivo es tratar de conseguir consenso, por medio de la interrogación a expertos con este segundo cuestionario, a fin de poner de manifiesto convergencias de opiniones y deducir eventuales consensos. Cada experto argumentará los pros y los contras de las opiniones de los demás y de la suya propia.
  4. Explotación de los resultados del segundo lanzamiento. El objetivo de los cuestionarios sucesivos, es alcanzar el consenso de los expertos. Aunque la formulación teórica del método Delphi propiamente dicho comprende varias etapas sucesivas de envíos de cuestionarios, de vaciado y de explotación, los estudios se limitan normalmente a dos etapas, lo que sin embargo no afecta a la calidad de los resultados tal y como lo demuestra la experiencia acumulada. Con dos rondas, se reduce el tiempo necesario para realizar el estudio y se evitan así las deserciones que se producen en cada fase del cuestionario.

La metodología DELPHI aplicada a la localización de puertos secos

En mi Tesina, seleccioné un amplio grupo de expertos de las diferentes especialidades que confluyen en mi investigación: logística, sostenibilidad, impacto ambiental, planificación de transportes y geografía. Con esto se busca que los pesos obtenidos sean lo más representativos posible y no hayas sesgos debidos a la especialización de los expertos en un solo área.

Lo que buscaba al final eran los pesos (la importancia) de los 14 criterios que quería tener en cuenta para localizar puertos secos, los cuales había seleccionado tras revisar pormenorizadamente la literatura científica al respecto.

Los pesos obtenidos se utilizan mediante un algoritmo de Análisis Multicriterio Lineal Ponderado para evaluar la calidad de las localizaciones de los puertos secos existentes en España. Pero esto ya lo contaré…

¿Cómo extraje la información sobre los pesos?

Precisamente el principal motivo para escribir este post es que me encontré con que a lo largo y ancho de internet había muchísima información sobre qué es el DELPHI, para qué sirve, quién lo ha aplicado, muchísimos artículos científicos utilizando la técnica para los más diversos estudios… ¡pero no había prácticamente nada sobre cómo se aplica! Y, por supuesto, en castellano aún menos.

Así que, como justo acababa de hacer un curso de estadística aplicada a la investigación experimental, lo primero que hice con los datos fue analizarlos de forma descriptiva. Y me di cuenta de que la mayoría de las representaciones y análisis no me servían para mucho. Salvo los gráficos de Box and Whisker.

Box and Whiskers Plot
Box and Whiskers Plot

Lógicamente, lo que quería era medir el consenso, así que necesitaba que en la segunda fase las cajas fueran más pequeñas que en la primera (y cuanto más pequeñas mejor), que los bigotes no se separaran en exceso y saber qué datos eran atípicos (o muy altos o muy bajos respecto a la mediana). Al fin lo tenía: sólo tenía que medir el rango intercuartílico.

Al principio me emocioné y traté de programarlo en R. ¡ERROR! Después descubrí que existía R-Commander y aquello parecía que me iba a solucionar la papeleta porque ya no estaría frente a una pantalla en blanco sino que tendría barras de herramientas. ¡NUEVO ERROR!

El tiempo apremiaba para entregar la Tesina y acabé optando por SPSS. ¿Para qué tratar de inventar la rueda si ya está inventada y funciona bien? Desde luego, si queréis grandes refinamientos, como estudiar la muestra respecto de la media armónica, establecer límites distintos que los cuartiles, etc, os tocará programar en R. Si vais a usar un Box and Whiskers clásico, SPSS funciona de lujo.

Pero me enfrentaba a otro problema: la mediana es el estadístico de centralización que se usa en estos diagramas y es muy robusto, pero…  ¿quién no se hace mejor idea con la media aritmética que con la mediana? Así que opté por trabajar con la mediana y pasar el segundo cuestionario a los expertos con los resultados del primer cuestionario usando la media.

El resto fue hacerme una buena hoja de cálculo para ordenar las respuestas, calcular los rangos intercuartílicos de cada criterio, sacar los diagramas de Box and Whiskers y poco más.

Para finalizar, os muestro qué consenso se alcanzó. Con esto ya estaba todo listo para extraer las conclusiones del estudio. Las tenéis en el paper adjunto al post de la categoría de |Docencia e Investigación| [ver enlace].

Box and Whiskers Plots de mis datos para la primera y la segunda fase
Box and Whiskers Plots de mis datos para la primera y la segunda fase