Planificar abans d’avaluar: per què és important pensar l’avaluació des del disseny del programa?

En els darrers anys, l’avaluació de polítiques públiques i programes s’ha convertit en una pràctica cada vegada més habitual dins les administracions i en les entitats del tercer sector. Aquest augment s’explica per la necessitat de generar evidències que permetin millorar les intervencions, fonamentar decisions i rendir comptes davant la ciutadania (Patton, 2008). És freqüent que l’avaluació es concebi com un exercici que s’encarrega al final d’un programa o projecte, quan aquest ja ha estat implementat o, fins i tot, tancat.

Fer avaluacions ex post és una pràctica fonamental per mesurar l’impacte de les intervencions, però quan aquestes no han estat planificades des de l’inici del cicle de la política pública – en el moment del disseny – sovint es troben dificultats importants: manca d’indicadors i sistemes de seguiment, absència de dades rellevants, poca claredat sobre els objectius o sobre la lògica d’intervenció, entre d’altres (Mayne, 2001). Això pot limitar la qualitat de l’avaluació i, en conseqüència, la utilitat dels resultats i la implementació de les recomanacions i millores.

Planificar abans d’avaluar

Pensar en l’avaluació des del disseny del programa implica incorporar una lògica de seguiment i aprenentatge des del primer moment. No es tracta d’avaluar abans d’hora, sinó de garantir que, quan arribi el moment d’avaluar, hi hagi les condicions necessàries per fer-ho de manera rigorosa, eficient i útil. Aquesta planificació anticipada, en primer lloc, facilita la definició d’objectius clars i mesurables i assegura la disponibilitat de sistemes adequats per a la recollida dades de manera sistemàtica durant la implementació.

Però els beneficis van més enllà de la qualitat de les dades. Pensar anticipadament en l’avaluació també ajuda a identificar actors clau, no només les persones beneficiaries finals, sinó també les persones impulsores i executores de la política, així com recursos disponibles i possibles reptes i limitacions. Tot això permet disposar d’informació fiable i fonamentar conclusions sòlides (Scriven, 1991), així com dissenyar una avaluació que respongui millor a les expectatives i necessitats d’informació de les diferents parts interessades (World Bank, 2010).

Quina diferència hi ha amb altres tipus d’anàlisis previs? 

És important no confondre la planificació anticipada de l’avaluació amb altres exercicis com l’avaluació ex ante o l’anàlisi d’avaluabilitat. Tot i que poden ser complementaris, tenen objectius i moment diferents:  

Elements clau a tenir en compte en la planificació anticipada d’una avaluació 

Tot i que la naturalesa de cada programa pot variar, una planificació efectiva hauria de contemplar els següents punts:  

• Designar qui liderarà l’avaluació

Identificar una persona o una equip intern (evaluation manager o evaluation team) que assumeixi el lideratge tècnic, vetlli pel seguiment i faci de pont amb l’equip avaluador extern, si n’hi ha. Sovint, aquest darrer no està encara definit en el moment de la planificació, per la qual cosa el lideratge intern és clau.

• Establir objectius i expectatives clares

Determinar per a què servirà l’avaluació, quines preguntes ha de respondre i quins tipus de decisions hauria d’informar.

• Recopilar la informació i documentació disponible

Elaborar un document (briefing book[1]) del projecte o programa que reculli la informació administrativa i operativa clau, els antecedents, les dades econòmiques, els indicadors ja existents, els mapes d’actors, els recursos, etc. 

• Definir l’abast del treball (Scope of Work) i un cronograma aproximat

Delimitar les activitats previstes, els moments clau i els productes esperats. Això dona claredat i facilita una millor contractació de l’avaluació, quan arriba el moment.

• Preveure activitats estratègiques

Si l’avaluació requerirà entrevistes, grups focals o observacions directes, és convenient preparar-les amb antelació: identificar i contactar els actors clau, preparar documents explicatius perquè tothom conegui el procés, etc. Això en facilita l’execució i n’evita resistències posteriors.  

En aquest sentit, la planificació anticipada de l’avaluació vol dir, entre altres aspectes, definir les preguntes clau de l’avaluació, les metodologies més adequades, les fonts d’informació, els rols i responsabilitats dins de l’organització, i els requeriments que haurien d’incorporar-se en un futur encàrrec d’avaluació (Patton, 2008).

Riscos d’avaluar sense haver planificat

Quan no es planifica l’avaluació des de l’inici, sovint sorgeixen dificultats que afecten el seu abast i qualitat:  

• Manca de dades fiables o comparables
• Dificultat per identificar i/o localitzar actors clau (que potser ja no estan disponibles).

 En resum…

Incorporar l’avaluació en el disseny d’una política no vol dir anticipar totes les decisions ni fer-ne una simulació. Vol dir preparar el terreny perquè, quan calgui avaluar, es pugui fer bé, amb dades sòlides, preguntes ben formulades i actors implicats. Planificar l’avaluació des del principi no només millora l’impacte de l’avaluació en si mateixa, sinó que reforça la qualitat del conjunt de la política pública (World Bank, 2010).

[1] Document estructurat que recopila informació clau i rellevant sobre el procés d’avaluació, proporcionant a les persones avaluadores i altres parts interessades una visió detallada dels antecedents, objectius, metodologia, criteris d’avaluació i resultats previs. El seu propòsit és facilitar la presa de decisions informades i garantir una avaluació eficient i ben fonamentada.

Referències:

• Mayne, J. (2001). Addressing attribution through contribution analysis: Using performance measures sensibly. Canadian Journal of Program Evaluation, 16(1), 1-19.
• Patton, M. Q. (2008). Utilization-Focused Evaluation (4a ed.). SAGE Publications.
• Scriven, M. (1991). Evaluation Thesaurus (4a ed.). SAGE Publications.
• World Bank. (2010. Monitoring, Evaluation and Learing Framework. World Bank Group.

Catalina Monserrat