El razonamiento evaluativo para planear y realizar...
37
1 El razonamiento evaluativo para planear y realizar mejores evaluaciones Xinia Picado G.
Transcript of El razonamiento evaluativo para planear y realizar...
1
El razonamiento evaluativo
para planear y realizar mejores evaluaciones
Xinia Picado G.
2
Índice
La Evaluación y el razonamiento evaluativo
Los tres componentes del razonamiento en
evaluación.
El Plan de Evaluación
Ejercicio práctico para la formulación y
concatenación de los componentes
3
Disciplinas que alimentan a la Evaluación
• La evaluación se apoya en cualquier campo, área o ciencia.
• La evaluación es transdisciplinaria y su quehacer complejo.
• De la Filosofía: valoración del mérito, el análisis ético y el discernimiento mediante la lógica.
• Se apoya también en la economía, la estadística, las ciencias administrativas, ambientales empleando su arsenal metodológico.
4
Concepto de Evaluación
• La evaluación es la investigación sistemática del valor o el mérito de un objeto de un programa, un proyecto, una institución.
• La identificación del mérito requiere examinar el valor del objeto evaluado. Al estudiar el mérito se analizará el aporte único que el programa o brinda a lasociedad y los beneficios que sólo pueden ser atribuidos a su intervención.
Qué es el razonamiento evaluativo?
• Es el esfuerzo por aplicar el discernimiento
y la lógica al plan de evaluación.
5
• Asegurar la coherencia .
• Es un paso obligado en evaluación no una
opción.
6
¿Por qué necesitamos el razonamiento
evaluativo?
La evaluación ha sido más pragmática que teórica
Aparición gradual de enfoques y metodologías.
La relación entre razonamiento, teoría y metodología
La evaluación es una empresa racional que a
menudo se efectúa por razones que no son
racionales (Weiss 1972: 25).
Componentes del razonamiento evaluativo
• Planteamiento del problema
• La formulación de interrogantes de
evaluación.
• El Plan de Evaluación
7
8
El Plan de Evaluación
Xinia Picado G.
9
Índice
El Problema de Evaluación y su Clarificación
Las fases del Problema : Planteamiento,
Formulación y Sistematización del Problema.
La formulación acertada de las Interrogantes
El Problema y las Interrogantes constituyen la
columna vertebral y la brújula del Plan de
Evaluación.
10
Previo al diseño
del Plan de Evaluación se debe
realizar un análisis
del contexto social
en el cual:
Se describan los problemas que afectan a la población, sus causas y efectos
Elementos que anteceden al análisis del Problema de Evaluación
Se identifiquen los grupos de interés
relacionados con esa problemática, los
usuarios del programa
Se describan las respuestas institucionales (el
programa creado para solucionar esta
problemática.
11
El problema de evaluación
• La tarea de evaluar conlleva una responsabilidad social y científica.
• Al evaluar se genera conocimiento. Para que este conocimiento pueda considerarse válido ha de generarse de manera rigurosa.
• La evaluación generará informacion válida cuando esté en capacidad de explicar su objeto de estudio, la problemática que se busca reducir y las causas que la rigen.
12
Clarificacion del problema de evaluación
• En el campo de la evaluación de programas y proyectos, sucede que no se considera un imperativo la clarificación y definición del problema.
• Al evaluar identificamos el mérito del programa o proyecto, asignamos valoraciones positivas o negativas y con ello afectamos situaciones y vidas humanas.
13
Se apoya en datos de diversa fuente, entrevista
informantes clave, analiza el contexto social, las fuerzas
políticas y económicas que lo afectan, las demandas y
necesidades poblacionales sobre el programa, y las
Clarificación del Problema de Evaluación
acciones realizadas por el
programa para satisfacer dichas
demandas.
14
Clarificación del Problema de Evaluación
El evaluador capta la esencia del Problema,
buscando identificar los elementos, las
causas y efectos que lo condicionan y que
parecen regir su dinámica.
15
El objeto de conocimiento y el objeto de análisis del evaluador debe incluir tres dimensiones:
Buy SmartDraw!- purchased copies print this
document without a watermark .
Visit www.smartdraw.com or call 1-800-768-3729.
La clarificación del Problema de Evaluación
16
¿En qué medida el programa o
proyecto evaluado ha contribuido
a solucionar la problemática que
le dio origen y ha logrado
satisfacer la demanda o necesidad
de la población beneficiaria?
¿ Qué
cambios
sociales son
atribuibles
al
programa?
Clarificacion del Problema de Evaluación
17
Fuentes para el Planteamiento del Problema de Evaluación
Deberá de utilizar toda su capacidad de discernimiento y acudir a todas las fuentes posibles (beneficiarios,expertos, grupos de interés) para identificar los elementos clave del problema, las conexiones causales y darle la mayor solidez posible.
En esta fase de definición del problema, es importante que el
evaluador comprenda que este no es un procedimiento mecánico.
18
Al plantear el problema, el evaluador lo describe de manera tal que demuestre que los hechos señalados económicos, sociales, administrativos en torno al problema son fidedignos.
Lo que el evaluador hace en esta fase, es tornar el problema en uno de carácter
científico
La necesidad de plantear el
Problema de Evaluación
19
Las fases del Problema de Evaluación
Demostrar la existencia del problema y su magnitud
Planteamiento
Formulación
Sistematización
Sintetizar el problema cómo interrogante principal de investigación
Desagregar la interrogante
principal en distintas interrogantes
20
Planteamiento del Problema de Evaluación
• Describir los problemas que afectan a la población meta del programa o proyecto.
• Analizar las causas y efectos de estos problemas.
• Identificar la importancia de los distintos actores y grupos de interés relacionados con el problema objeto de intervención del programa o proyecto evaluado.
• Describir y analizar las estrategias y las soluciones que se plantearon para enfrentar el problema y los recursos utilizados.
21
Planteamiento del Problema: El Programa de Comedores Escolares se creó para brindar soporte nutricional a los escolares de bajos recursos económicos pero no se conoce su impacto.
Formulación del Problema: En qué medida el programa contribuye a mejorar la condición nutricional de su población meta?
Ejemplo 1
22
Sistematización del Problema:
• En qué medida los menores beneficiados por el
programa tienen las características especificadas
para su población meta?
• Cuáles han sido los resultados en lo que a
impacto nutricional se refiere en los menores
que han participado en el programa durante dos
años?
Ejemplo 1
23
Buy SmartDraw!- purchased copies print this
document without a watermark .
Visit www.smartdraw.com or call 1-800-768-3729.
Buy SmartDraw!- purchased copies print this
document without a watermark .
Visit www.smartdraw.com or call 1-800-768-3729.
24
Las Interrogantes de Evaluación
Las interrogantes de evaluación constituyen la columna vertebral del diseño
metodológico y son materia clave del ejercicio evaluativo
De la generación de interrogantes acertadas dependerá en gran medida el éxito del diseño evaluativo. Si formulamos preguntas obvias obtendremos respuestas poco relevantes.
25
Las Interrogantes de Evaluación
La interrogante de evaluación acertada es una expresión de la reflexión crítica que hacemos sobre el acontecer de un programa o proyecto evaluado.
Para responderlas se puede acudir a diversos enfoques evaluativos dependiendo de su especificidad.
26
Las Interrogantes de Evaluación
• Exploran y buscan la comprobación de las
relaciones causales de la problemática central
identificada.
• Las interrogantes evaluativas no se ocupan de
describir sino de explorar, indagar y buscar
explicaciones de aspectos cruciales.
27
Las Interrogantes de Evaluación
La calidad de un diseño de evaluación empieza con:
• La manera como se definen y proponen las interrogantes de evaluación
• La comprensión acertada del problema y a partir de ahí la selección del enfoque metodológico para responder a esas interrogantes
• Si se trata de una población afectada incorporarlos en la formulación de interrogantes.
28
Características de las interrogantes de evaluación
acertadas
• Son claras, concisas y evitan la ambigüedad.
• Contribuyen a valorar y sopesar la situación, programa o proyecto evaluado.
• Ayudan a focalizar y precisar la situación y problemática por evaluar.
• No conducen a respuestas dicotómicas (sí, no) si con ello limita la capacidad exploratoria de la respuesta.
29
La formulacion de Interrogantes de Evaluación
• Antes de seleccionar un enfoque o una metodología, el
evaluador analiza cuidadosamente el contexto,
identifica el PROBLEMA, sus causas, busca evidencias
y formula interrogantes.
• Para identificar los aspectos cruciales del programa o
proyecto es conveniente que el evaluador se apoye en
la modalidad propuesta por Cronbach de las Fases
Convergente y Divergente.
30
Fase Divergente
• En la fase divergente se generan todas las
interrogantes que consideren necesarias para cubrir
ampliamente todos los aspectos que interese valorar e
investigar. (Lluvia de interrogantes).
• Se identifican asi los aspectos
cruciales, los puntos álgidos,
las incertidumbres, lo que
amerita ser investigado.
31
Fase Convergente
En la Fase Convergente se
procede a realizar una
selección y una depuración
entre todas las interrogantes
de evaluación, seleccionando
los aspectos que realmente
interesa investigar.
32
• ¿En qué medida los servicios que brinda el programa están satisfaciendo las necesidades de la población meta?
• ¿Cuál es la calidad de los procedimientos utilizados para identificar a la población meta y para asegurar que los servicios propuestos lleguen a quienes los necesitan?
Ejemplo de Interrogantes
33
Problema e Interrogantes de evaluación
• Una vez planteado el problema y detectado sus
puntos álgidos, el evaluador puede empezar a
generar las interrogantes de evaluación.
• Se formulan interrogantes que buscan la
explicación del problema observado y la
exploración de sus posibles soluciones.
34
• Si el problema de evaluación no se identifica y define con claridad no se podrán generar criterios ni interrogantes de evaluación acertadas.
• El evaluador siempre deberá definir el problema de investigación, formular los criterios y las interrogantes de evaluación como un paso previo a la selección del enfoque evaluativo.
Problema e Interrogantes de evaluación
Ejercicio 1
• Lea el caso brindado en clase. Plantee la
existencia del Problema, analizando causas y
efectos.
• Describa el Problema, su magnitud y datos
fidedignos que utilizará como evidencias para
probar su existencia.
. Identifique a los distintos actores y grupos afectados por el problema.
. Formule el Problema como Interrogante
35
36
• Aplique la fase
convergente y
escoja al menos 3
interrogantes
finales de
evaluación.
• A partir del
problema
formulado como
interrogante
aplique la fase
divergente de
Cronbach.
Ejercicio 2. Sistematice el Problema
37
Fuentes de consulta
Cronbach L. “ Designing Evaluations of Educational and Social Programs”.Jossey Bass Publishers.San Francisco.1982.
Grizzle G. “State Manager´s Handbook series on Productivity”: Asking the right question to evaluate programs: A Guide for State Managers”. The Institute of Science and Public Affairs. Florida State University. 1979.
Méndez C.Metodología. Guía par ala elaborar diseños de investigación en ciencias económicas, contables y administrativas. McGraw Hill Interamericana.S.A.México .l988.
Picado X. Hilo Escarlata. Editorial Universidad de Costa Rica. 2006
Scriven M. Hard Won Lessons in Program Evaluation. Jossey Bass.No.58. San Francisco .l993.
