Planificar antes de evaluar: ¿por qué es importante pensar la evaluación desde el diseño del programa?

Planificar antes de evaluar: por qué es importante pensar la evaluación desde el diseño del programa

En los últimos años, la evaluación de políticas públicas y programas se ha convertido en una práctica cada vez más habitual dentro de las administraciones y en las entidades del tercer sector. Este aumento se explica por la necesidad de generar evidencias que permitan mejorar las intervenciones, fundamentar decisiones y rendir cuentas ante la ciudadanía (Patton, 2008). Es frecuente que la evaluación se conciba como un ejercicio que se encarga al final de un programa o proyecto, cuando este ya ha sido implementado o, incluso, cerrado.

Realizar evaluaciones ex post es una práctica fundamental para medir el impacto de las intervenciones, pero cuando estas no han sido planificadas desde el inicio del ciclo de la política pública – en el momento del diseño – a menudo se encuentran dificultades importantes: falta de indicadores y sistemas de seguimiento, ausencia de datos relevantes, poca claridad sobre los objetivos o sobre la lógica de intervención, entre otros (Mayne, 2001). Esto puede limitar la calidad de la evaluación y, en consecuencia, la utilidad de los resultados y la implementación de las recomendaciones y mejoras.

Planificar antes de evaluar

Pensar en la evaluación desde el diseño del programa implica incorporar una lógica de seguimiento y aprendizaje desde el primer momento. No se trata de evaluar antes de tiempo, sino de garantizar que, cuando llegue el momento de evaluar, haya las condiciones necesarias para hacerlo de manera rigurosa, eficiente y útil. Esta planificación anticipada, en primer lugar, facilita la definición de objetivos claros y medibles y asegura la disponibilidad de sistemas adecuados para la recolección de datos de manera sistemática durante la implementación.

Pero los beneficios van más allá de la calidad de los datos. Pensar anticipadamente en la evaluación también ayuda a identificar actores clave, no solo las personas beneficiarias finales, sino también las personas impulsoras y ejecutoras de la política, así como los recursos disponibles y posibles retos y limitaciones. Todo esto permite disponer de información fiable y fundamentar conclusiones sólidas (Scriven, 1991), así como diseñar una evaluación que responda mejor a las expectativas y necesidades de información de las diferentes partes interesadas (World Bank, 2010).

¿Qué diferencia hay con otros tipos de análisis previos?

Es importante no confundir la planificación anticipada de la evaluación con otros ejercicios como la evaluación ex ante o el análisis de evaluabilidad. Aunque pueden ser complementarios, tienen objetivos y momentos diferentes:

Elementos clave de la planificación anticipada de una evaluación

Aunque la naturaleza de cada programa puede variar, una planificación efectiva debería contemplar los siguientes puntos:

• Designar quién liderará la evaluación

Identificar una persona o un equipo interno (evaluation manager o evaluation team) que asuma el liderazgo técnico, vele por el seguimiento y haga de puente con el equipo evaluador externo, si lo hay. A menudo, este último no está aún definido en el momento de la planificación, por lo que el liderazgo interno es clave.

• Establecer objetivos y expectativas claras

Determinar para qué servirá la evaluación, qué preguntas debe responder y qué tipos de decisiones debería informar.

• Recopilar la información y documentación disponible

Elaborar un documento (briefing book[1]) del proyecto o programa que recoja la información administrativa y operativa clave, los antecedentes, los datos económicos, los indicadores ya existentes, los mapas de actores y los recursos, etc.

• Definir el alcance del trabajo (Scope of Work) y un cronograma aproximado

Delimitar las actividades previstas, los momentos clave y los productos esperados. Esto da claridad y facilita una mejor contratación de la evaluación cuando llega el momento.

• Prever actividades estratégicas

Si la evaluación requerirá entrevistas, grupos focales u observaciones directas, es conveniente prepararlas con antelación: identificar y contactar a los actores clave, preparar documentos explicativos para que todos conozcan el proceso, etc. Esto facilita su ejecución y evita resistencias posteriores.

En este sentido, la planificación anticipada de la evaluación significa, entre otros aspectos, definir las preguntas clave de la evaluación, las metodologías más adecuadas, las fuentes de información, los roles y responsabilidades dentro de la organización, y los requisitos que deberían incorporarse en un futuro encargo de evaluación (Patton, 2008).

Riesgos de evaluar sin haber planificado

Cuando no se planifica la evaluación desde el inicio, a menudo surgen dificultades que afectan su alcance y calidad:

• Falta de datos fiables y comparables.
• Dificultad para identificar y/o localizar actores clave (que tal vez ya no están disponibles).
• Indicadores ausentes o mal definidos, que impiden medir adecuadamente los resultados.
• Pérdida de tiempo y recursos para obtener información que podríamos haber recogido durante el desarrollo del proyecto.

En resumen…

Incorporar la evaluación en el diseño de una política no significa anticipar todas las decisiones ni hacer una simulación. Significa preparar el terreno para que, cuando llegue el momento de evaluar, se pueda hacer bien, con datos sólidos, preguntas bien formuladas y actores implicados. Planificar la evaluación desde el principio no solo mejora el impacto de la evaluación en sí misma, sino que refuerza la calidad del conjunto de la política pública (World Bank, 2010).

[1] Documento estructurado que recopila información clave y relevante sobre el proceso de evaluación, proporcionando a las personas evaluadoras y otras partes interesadas una visión detallada de los antecedentes, objetivos, metodología, criterios de evaluación y resultados previos. Su propósito es facilitar la toma de decisiones informadas y garantizar una evaluación eficiente y bien fundamentad

Referencias:

• Mayne, J. (2001). Addressing attribution through contribution analysis: Using performance measures sensibly. Canadian Journal of Program Evaluation, 16(1), 1-19.
• Patton, M. Q. (2008). Utilization-Focused Evaluation (4a ed.). SAGE Publications.
• Scriven, M. (1991). Evaluation Thesaurus (4a ed.). SAGE Publications.
• World Bank. (2010. Monitoring, Evaluation and Learing Framework. World Bank Group.

Catalina Monserrat