Hay diversas definiciones de la evaluación, y los responsables de la formulación de políticas podrán guiarse por las definiciones, los enfoques o las orientaciones que se apliquen a nivel nacional. La definición siguiente puede ser útil para quienes no estén familiarizados con el concepto:

Glosario
evaluación

Valoración sistemática y objetiva de un proyecto, programa o política en curso o ya completado, así como de su diseño, implementación y resultados. 

Fuente

IOM, 2011b.

En el seguimiento se formularán preguntas tales como: “¿cuál es el estado actual de la implementación?, ¿qué se ha logrado hasta el momento?, ¿cómo se ha logrado? y ¿cuándo se logró?”. La evaluación ayuda además a entender “por qué y cuán satisfactoriamente” se alcanzaron esos resultados, y entraña un juicio sobre el valor y el mérito de una intervención o estrategia. La evaluación permite un análisis más riguroso de la implementación de una intervención, dando también una respuesta a la pregunta de por qué un esfuerzo fue más eficaz que otro. La evaluación enriquece el proceso de aprendizaje y mejora los servicios y la capacidad de adopción de decisiones. También ofrece información que no puede recabarse fácilmente del seguimiento, derivada mediante el uso de criterios de evaluación tales como la consideración del impacto, la pertinencia, la eficiencia, la eficacia, la sostenibilidad y la coherencia.

artículo

Una evaluación ... [a]naliza el grado de consecución de los resultados esperados e imprevistos, examinando la cadena de resultados, los procesos, los factores contextuales y la causalidad a partir de criterios adecuados como la pertinencia, la eficacia, la eficiencia, el impacto y la sostenibilidad. Una evaluación debe suministrar información creíble y útil con base empírica que facilite la incorporación oportuna de los hallazgos, recomendaciones y lecciones en los procesos de toma de decisiones de las organizaciones y las partes interesadas. 

Fuente

Grupo de Evaluación de las Naciones Unidas, 2016

¿Por qué evaluar?

En su versión más simple, el objetivo de la etapa de evaluación del ciclo de políticas es examinar detalladamente la política que se está implementando y determinar si todo está funcionando según lo previsto y, en particular, “cuán buena es [la política], y si es suficientemente buena” (Davidson, 2005).

La evaluación puede también poner en marcha un debate sobre la causalidad. Permite un análisis más riguroso y completo de la política y puede dar pistas sobre los motivos por los que un esfuerzo, programa o intervención funcionó mejor que otro. La evaluación proporciona a los profesionales los datos empíricos detallados que necesitan para la adopción de decisiones, ya que permite determinar si hubo un cambio como resultado de la iniciativa de política, de qué tipo fue, y cómo y por qué se produjo. También enriquece el proceso de aprendizaje, lo que a su vez mejora la capacidad de adopción de decisiones sobre la implementación tanto de la política en cuestión como de otras políticas en el futuro. La evaluación ayuda a determinar si una política necesita ajustes, si ha dejado de ser necesaria y debería suprimirse, o si debería reformarse completamente. Un aspecto de particular importancia es que la evaluación puede servir para poner de relieve la rendición de cuentas sobre el uso de los fondos públicos o aportados por los donantes, así como sobre el cumplimiento de las leyes nacionales y las normas internacionales pertinentes. Además proporciona información que no dimana directamente del seguimiento, porque permite realizar un análisis y examen a fondo sobre la base de criterios preestablecidos tales como la pertinencia, la coherencia, la eficiencia, la eficacia, el impacto y la sostenibilidad, entre otros (Comité de Asistencia para el Desarrollo (CAD) de la Organización de Cooperación y Desarrollo Económicos (OCDE), 2020).

No obstante su considerable valor para el ciclo de políticas, la evaluación se pasa a menudo por alto. Una vez concluido el pesado trabajo de la implementación, aparecen nuevas prioridades y los responsables de la formulación de políticas pueden verse inmersos en un nuevo reto. Un motivo frecuente de la insuficiente atención prestada a la evaluación es que no se integra debidamente en el plan de implementación:

Article / Quotes

… evaluation may not be sufficiently built into policy design. Again, systemic pressures often undermine good intentions. Early in the policy process, civil servants are under pressure to deliver; evaluation can be seen as a problem for another day.

Fuente

Hallsworth, Parker and Rutter, 2011.

Other impediments include expertise and cost as well as institutional or governmental commitment. Not securing time and resources to conduct an evaluation of the policy and its implementation risks repeating mistakes, and missing opportunities to adjust and improve future interventions.

Figure 3 sets out how evaluation can be used to answer questions about the value of a policy and its interventions. The approach, timing and methodologies employed will differ depending on the key evaluation questions that are of interest, including those for which the policymakers and implementers are directly or indirectly accountable.

Image / Video
Figure 3. Questions to ask during evaluation
Fuente

Adapted from IOM (2020). 

Note: Although these criteria are rights-neutral, it is important to consider rights for each one of these objectives. See how in IOM’s, Right-Based Approach to Programming Manual, p. 70)

An important part of evaluation is articulating the key questions for the enquiry. These will be based in part on the target or objective of the evaluation, and its scope. As noted at Figure 3, evaluation can focus on a number of criteria.

Policy Approaches
Considerations for planning an evaluation

STEP 1. DEFINE THE PURPOSE AND FEASIBILITY OF EVALUATION ​

Purpose: What does the evaluation strive to achieve? Who will use the findings? How will the findings be used? What type of evaluation is most appropriate to answer the evaluation questions? Which evaluation criteria are most relevant to answer the evaluation questions?

The following example evaluation questions come from Davidson (2009), who underlines the importance of working with stakeholders to ensure that what is important to know and understand is brought to the surface early:

  • What was the quality of the programme’s content/design and how well was it implemented?
  • How valuable were the outcomes to participants? To the organization, the community, the economy?
  • What were the barriers and enablers that made the difference between successful and disappointing implementation and outcomes?
  • What else was learned (about how or why the effects were caused/prevented, what went right/wrong, lessons for next time)?
  • Was the programme worth implementing? Did the value of the outcomes outweigh the value of the resources used to obtain them?
  • To what extent did the programme represent the best possible use of available resources to achieve outcomes of the greatest possible value to participants and the community?
  • To what extent is the programme, or aspects of its content, design or delivery, likely to be valuable in other settings? How exportable is it?
  • How strong is the programme’s sustainability? Can it survive/grow in the future with limited additional resources?
    Note: Only ask evaluation questions if you are ready to take action based on the answers. Only use the criteria that relate to the questions you want answered. 

Feasibility: Are there enough funds? Are the costs and feasibility worth the likely benefits of the evaluation?

STEP 2. PREPARE THE TERMS OF REFERENCE (ToR) FOR THE EVALUATION 

Ensure the following elements are included and clarified in the ToR:

  • Evaluation context: Briefly describes the political, economic and social environment​, the project, its objectives and intended results.
  • Evaluation purpose: Explains the main objective of the evaluation​, identifies the intended audience for the evaluation and how the evaluation will be used. ​
  • Evaluation scope: Specifies the time period, geographical coverage and other relevant components.
  • Evaluation criteria (relevance, effectiveness, impact, efficiency and/or sustainability) and questions: Lists selected criteria and related questions.
  • Methodology section: Describes the suggested type of data collection and analysis methods.
  • Deliverable section: Specifies outputs such as reports at inception, initial findings, draft and final report.
  • Time schedule: Specifies tasks and milestones by date and responsible party.
  • Specifications on roles: Specifies roles of stakeholders involved, including the managerial role of steering committees and the participatory approach taken to engage stakeholders.
  • Budget: Takes into account internal or external evaluators and the costs of data collection (such as field visits or data analysis costs).
  • Cross-cutting themes: Lists the relevant themes.
 
Fuente

Davidson, 2009, slides 10–11 [text modified for clarity]; IOM, 2020.

Tipos de evaluación: consideraciones relativas al momento, el propósito, el alcance y los evaluadores

La evaluación se suele realizar para determinar si una política dada está generando los resultados que se pretendía alcanzar y en qué medida. Sin embargo, el foco de atención puede ser también más estrecho y centrarse en aspectos específicos tales como el proceso, la eficiencia del esfuerzo, la eficacia en relación con el costo, la satisfacción de los beneficiarios y de la comunidad, la compatibilidad con los derechos y con un enfoque basado en los derechos, o los motivos por los que la implementación funcionó bien o mal. Lo importante es formular el objetivo en los términos más claros posibles y luego definir las preguntas de la evaluación que permitirán obtener la información necesaria para formarse un juicio sobre esos aspectos. El enfoque que se adopte para la evaluación, y la inversión en ella, dependerán de los siguientes factores:

  • qué se necesita entender con respecto a la política, lo que incluirá su grado de eficacia;
  • cuánto está en juego para el organismo o el gobierno;
  • si se trata de una política con un impacto social o económico elevado;
  • la influencia de las partes interesadas que deseen la inclusión de ciertos criterios de evaluación (por ejemplo, los sindicatos pueden querer asegurarse de que el programa de entrada de trabajadores proteja a los nacionales y evite el dumping social);
  • en qué medida se trata de una política experimental (por ejemplo, de un proyecto piloto);
  • la disponibilidad de tiempo, dinero y capacidad para invertir en el proceso de evaluación;
  • las consideraciones éticas, que pueden ser particularmente pertinentes cuando los beneficiarios son migrantes vulnerables.
Policy Approaches
Choosing the most appropriate type of evaluation

To choose the type of evaluation, key considerations need to be made regarding:

a) Timing, purpose, scope and nature of the evaluation.

TIMING OF EVALUATION: 

  • Before implementation to assess validity of its design.
  • At the early stages of implementation to provide instant feedback to managers about an ongoing operation (this approach is mostly used in emergencies).
  • During implementation, for the sake of improving performance.
  • At the end of implementation, for the benefit of stakeholders not necessarily directly involved in the management of the implementation (such as parliamentary groups, civil society).
  • After the activities to assess results and related short- and long-term changes.

PURPOSE OF EVALUATION:

  • Formative evaluations are conducted during implementation to adjust the intervention. They are intended primarily for programme managers and direct actors.
  • Summative evaluations are conducted at the end of implementation to provide insights on its effectiveness. They identify best practices and are often interesting for donors as well as civil society, and other stakeholders with an oversight role.

SCOPE OF EVALUATION:

  • Process evaluation: Focuses on activities and outputs, to assess the systems and practices used for implementation​.
  • Outcome evaluation: Focuses on outputs and outcomes, to assess the extent to which a project successfully produced change.
  • Impact evaluation: Focuses on impact, to determine the entire range of long-term effects of the project.

EVALUATORS:

  • Internal evaluations: Conducted within the government/administrations/institutions by actors who were not involved in the conceptualization or implementation of the intervention.
  • External evaluations: Commissioned to external entities, such as national evaluation societies, international organizations, civil society organizations, and national human rights institutions (NHRIs). Benefit from greater impartiality.
  • Joint evaluations: Developed jointly by both government representatives and external evaluators.

b) Whether to go for an internal or external mode of evaluation include (Conley-Tyler, 2005):

  •  Cost;
  •  Availability;
  •  Knowledge of programme and operations;
  •  Knowledge of context;
  •  Ability to collect information;
  •  Flexibility;
  •  Specialist skills and expertise;
  •  Objectivity and perceived objectivity;
  •  Accountability for use of government funds;
  •  Willingness to be constructive and to bring in new perspectives;
  •  Utilization of evaluation (for instance, internal evaluators may be better placed to have findings accepted and promote their use over the long term);
  • Dissemination of results;
  •  Ethical issues;
  • Organizational investment.

Some State authorities and international organizations make public their approach to evaluation. Such a policy can be useful to clarify accountabilities for evaluation at the institutional level. It may include key criteria for evaluation, and how stakeholders could be expected to be engaged. The value of an evaluation policy is that it provides a framework for thinking about institutional capabilities and capacity, including skills and knowledge and decisions regarding reliance on external evaluation or investments in in-house capacity.

Example
Evaluation approaches and policies by migration authorities

Canada

To inform ongoing policy development and programme design, Immigration, Refugees and Citizenship Canada (IRCC, formerly Citizenship and Immigration Canada, CIC), has an internal evaluation policy and function. IRCC plays a strategic role in providing objective, timely and evidence-based findings, conclusions, and recommendations on the relevance and performance of programmes, policies and initiatives. IRCC Evaluation Division conducts evaluations independently and makes them available to ministers, central agencies and deputy heads to support policy and programme improvement, expenditure management, cabinet decision-making, and public reporting.

Source: CIC Evaluation Policy.

OECD

The Development Cooperation Directorate of the Organization for Economic Co-operation and Development (OECD), through its Development Assistance Committee (DAC) Network on Development Evaluation, assesses development programmes across the world. The Network is composed of Member States and multilateral organizations, who established a set of evaluation criteria and principles for using it.

Source: DAC Network on Development Evaluation.

One form of exploratory policymaking is the policy pilot which can, if effectively conceived, serve as a policy experiment providing a useful opportunity for gathering evidence while limiting cost and effort.

The role of evaluation is critical for pilots. Evaluation will determine next steps and can, where appropriate, be used to advocate for and/or justify full roll-out. The two evaluation examples below are both pilots. The evaluations have been made public. The evaluation reports set out the objectives and the evaluation design.

Example
Policy pilots – evaluation objectives and design

Example 1: New Zealand – the pathway student visa pilot

Immigration New Zealand, in consultation with the international education sector, developed the Pathway student visa for international students wishing to study more than one course or programme of study, at one or more providers, in New Zealand. The objectives of the Pathway visa are to: provide efficiency gains for Immigration New Zealand and the international education sector; offer education providers an additional advantage when promoting New Zealand as a study destination; increase the retention of high-quality international students.

The Pathway visa was piloted from 7 December 2015 to 30 November 2018 with an interim evaluation completed in August 2017. The Ministry of Business, Innovation and Employment has its own in-house evaluation capacity. The evaluation was based on findings from surveys of international students and immigration advisers, interviews with education providers, immigration officers and advocacy groups, and analysis of administrative visa data. The report articulates the evaluation methodology and its objectives.

Evaluation objectives and questions

  • The purpose of the evaluation was to assess the level of interest in the new visa, how well it is working and the extent to which the objectives were met. The key evaluation questions were:
  • What has been the student, and eligible provider, uptake of the visa and what are the barriers to uptake?
  • What are the characteristics and pathways of students using the visa and those not using the visa but eligible to do so?
  • How well is the policy working from a process perspective, including the establishment of pastoral care arrangements, and what could be improved?
  • To what extent are the objectives of the policy being met?
  • What are the immediate/intermediate outcomes of the visa, including any unintended consequences?

Evaluation method

This evaluation used a mixed-methods approach, including analysis of administrative data, online surveys, and interviews with immigration officers, education providers and advocacy groups (representing providers in different education sectors). Where possible, the methods were chosen to allow triangulation of data to meet evaluation objectives.

Source: New Zealand Government - Ministry of Business, Innovation and Employment (MBIE) Hīkina Whakatutuki, 2018.

 

Example 2: The evaluation of the "Blue Birds" circular migration pilot in the Netherlands

This is a similar example of how a pilot was implemented and evaluated, this time in the Netherlands, to gain better understanding of policy potential. In this example there were poor outcomes, hence the focus of the evaluation was on both what went wrong and what would be the circumstances needed for such a pilot to be successful. The following text is taken from the report’s introduction:

Evaluation objectives and questions

The purpose of the evaluation was to understand the process of the “Blue Birds” circular migration pilot and the challenges that arose as well as the lessons to be learned for future possible circular or temporary labour migration projects or programmes. The main question that the study sought to answer was this: Why was the HIT Foundation unable to reach its target of 160 migrants working in regular vacancies within the Netherlands in shortage sectors after one year?

In order to answer that main question, the study asked and answered these further questions:

  • To what extent did the assignment framework (choice of countries, limitations regarding length of stay, education level, exclusion of high- and low- skilled migrant workers, exclusion of health sector workers, focus on employment shortage areas) influence the fact that set goals were not reached?
  • To what extent did external factors like the economic crisis and changes in parliament during 2010 influence the implementation process of the circular migration pilot?
  • To what extent did the quality of the implementation process directly lead to not reaching goals?
  • What lessons can be learned from the pilot?
  • Under what conditions would a new circular migration pilot have a chance to succeed?

Evaluation method

To make its assessment, the review team undertook a thorough review of literature, government documents and project documentation, as well as interviews with 50 key stakeholders during a two-month period. Interviews with representatives from other countries (such as GIZ in Germany) were conducted when necessary to understand key learnings from their circular/temporary migration projects. A mix of people from different sides of the project were interviewed to ensure triangulation and to understand the needs and perspectives from all sides. Interviews were conducted with several members of the HIT Foundation that implemented the project. Interviews were also done with members of the governmental steering committee, including representatives from each of the relevant ministries, and the pilot project advisory board members. Interviews were also conducted with recruiters, companies and migrants involved in the project.

Source: Siegel and Van der Vorst, 2012 [text modified for clarity].

Gestión de una evaluación

Por último, una vez terminada la etapa de planificación, debe ponerse en marcha y gestionarse el proceso de evaluación. Cuando finaliza el proceso, se aplican las lecciones aprendidas. A continuación se enumeran algunos puntos que es útil tener presentes en esas fases:

Policy Approaches
Managing and using an evaluation

1. MANAGING AN EVALUATION 

  • Supervise the creation of a workplan based on a ToR:
    • Oversee the workplan while maintaining communication with key stakeholders;
    • Determine how the findings will be reported, as both senior management and project stakeholders should review the evaluation report ahead of finalization.
  • Ensure quality evaluation​: Ensure institutional norms, procedures and technical standards are being met.

2. USING AND FOLLOWING UP ON AN EVALUATION 

  • Using evaluation​: Develop a matrix for senior management and stakeholders to review the findings and indicate whether they do, do not or partially accept recommendations; describe follow up actions to be taken with concrete timelines and allocation of responsibilities.
  • Following up or monitoring implementation of recommendations: Define a communications approach to disseminate findings and recommendations among stakeholders, bearing in mind potentially competing perspectives and the best timing to act on recommendations.
 
Fuente

IOM, 2020.

To Go Further
Otras formas de investigación, examen y supervisión aplicables en esta etapa del ciclo de políticas

Aunque en este capítulo la atención se ha centrado en la evaluación, hay también otras actividades que arrojan luz sobre el valor de una política. Entre ellas figuran las investigaciones y los estudios académicos, las valoraciones, las auditorías y otros informes de supervisión. Estas formas adicionales de retroinformación pueden ser de gran calidad y metodológicamente sólidas, y proporcionar ideas útiles para afinar los detalles de la política. Por ejemplo, el gobierno y el sector académico pueden colaborar en la realización de un estudio pormenorizado desde un punto de vista independiente del proceso de elaboración de políticas y en que no haya intereses creados (véanse más detalles al respecto en el capítulo Datos, investigación y análisis para la formulación de políticas).

Es útil entender de qué manera estos otros enfoques pueden ser similares a una evaluación en algunos aspectos, pero fundamentalmente diferentes en su función y propósito. Los responsables de la formulación de políticas deberán decidir qué tipo de investigación se requiere, y si es viable.

Auditorías: las auditorías se concentran en la adhesión a los procedimientos establecidos y en la rendición de cuentas financiera, mientras que una evaluación presta más atención al mérito de una intervención sobre la base de las normas fijadas (véase la anterior sección titulada Tipos de evaluación: consideraciones relativas al momento, el propósito, el alcance y los evaluadores). Los auditores examinan el desempeño o cómo se han gastado los presupuestos, y si se ha hecho un uso óptimo del dinero. Al igual que las evaluaciones, las auditorías pueden ser realizadas dentro del gobierno por unidades u organismos de auditoría independientes, con facultades legales y políticas definidas.

Investigación: La investigación y la evaluación son conceptos estrechamente relacionados entre sí pero muy distintos. Tal vez lo más adecuado sea entender la evaluación como un tipo específico de investigación, en que se estudia una determinada política con el propósito de asegurar la rendición de cuentas necesaria y extraer enseñanzas de los resultados de la implementación para mejorar la elaboración de políticas en el futuro. El proceso de investigación tiene un ámbito de aplicación mucho más amplio. Puede estudiar y tratar de entender cualquier aspecto de la política y su implementación, y ofrecer información para todas las etapas del ciclo de elaboración de políticas. Una forma sintética de expresar la distinción es que la evaluación tiene que ver con el aprendizaje y la rendición de cuentas, mientras que la investigación se centra en el aprendizaje. Además, en lo que respecta al aprendizaje, la evaluación tiene el objetivo de mejorar algo, mientras que la investigación está diseñada para demostrar algo.

Mensajes enclave
  • El seguimiento proporciona datos operacionales sobre los productos y el desempeño, y se ve facilitada por una buena planificación en las etapas de formulación e implementación de las políticas.
  • La evaluación permite entender mejor el mérito de una iniciativa de política, lo que puede conducir luego a ajustes o mejoras o, si es necesario, a una reforma completa o al abandono de la política.
  • La adopción de decisiones con respecto a la evaluación incluye la consideración de su alcance y propósito, de los momentos adecuados para realizarla y de quién la realizará. Las consideraciones prácticas al planificar, encargar, gestionar y utilizar una evaluación comprenden los aspectos del dinero, los recursos y las competencias. En cualquier caso, el seguimiento y la evaluación deberían examinarse en una fase temprana del ciclo de políticas, durante la etapa de formulación, para que se asignen suficientes recursos y puedan extraerse las enseñanzas que correspondan.
Anterior¿Qué es el seguimiento?SiguienteComunicación en materia de migración