Experiencias De Evaluación Participativa En Intervenciones .
Experiencias de Evaluación participativa en intervenciones delPrograma Servicio País (Chile)Incorporando a la comunidad en la evaluación de programas socialesCarmen Luz SánchezDaniela Miranda
Experiencias de evaluación participativa en intervenciones del programa ServicioPaís (Chile): incorporando a la comunidad en la evaluación de programas socialesCarmen Luz Sánchez1Daniela Miranda2SíntesisEl Programa Servicio País es el programa de intervención social de la Fundación para la Superación de laPobreza (Chile). Este programa realiza hace 23 años intervención social en territorios aislados de Chile,trabajando desde un enfoque promocional para la superación de la pobreza. En dicho contexto, entre 2015y 2017 se desarrolló un piloto de evaluaciones participativas que lograra los siguientes aspectos: innovaren métodos de evaluación de programas sociales, incorporar evaluaciones más coherentes con la lógicapromocional del programa incluyendo mediciones colectivas y subjetivas que consideran la percepción delas comunidades como clave para el diseño de criterios de evaluación, incorporar evaluación cualitativacomplementaria al modelo cuantitativo existente, y aportar al empoderamiento de las organizaciones através de la instalación de capacidades evaluativas. Específicamente la metodología se desarrolló a travésde talleres participativos-evaluativos, en tres fases anuales, que convocaron a variados actores participantesde las intervenciones, y donde se utilizaron técnicas participativas creativas y lúdicas.1Socióloga por la Pontificia Universidad Católica de Chile y Master of Arts (Sociology) University of Sydney, Australia. Coordinadoradel área de Gestión Programática y Evaluación del Programa Servicio País, Fundación para la Superación de la Pobreza (Chile).2Socióloga por la Pontificia Universidad Católica de Chile y Magister en Políticas Sociales por la Universidade de Brasilia, Brasil.Profesional del área de evaluación del Programa Servicio País (Chile).2
1.Introducción 3Durante el periodo 2015‐2016 el equipo de Evaluación del programa Servicio País4 con el apoyo de laDirección de Propuestas País5 (DPP) de la Fundación para la Superación de la Pobreza (FSP), desarrollaronun piloto de evaluaciones participativas en dos intervenciones del programa Servicio País, en las regionesde La Araucanía y Metropolitana. Dados los positivos resultados del ejercicio, durante el ciclo 2016-2017éste se extendió a otras dos regiones abordando un total de cuatro intervenciones, ejercicio que se repitiódurante el ciclo 2017-2018. De esta forma, se consolidó una propuesta metodológica que actualmenteforma parte del modelo permanente de evaluación del programa Servicio País.El piloto de evaluaciones participativas surgió por la necesidad de complementar el modelo de evaluacióndel programa en tres aspectos; (i) Incorporar evaluación cualitativa que complementara las evaluacionescuantitativas y que abordara interpretaciones subjetivas de las comunidades participantes en lasintervenciones Servicio País (ii) Incorporar evaluaciones grupales: considerando que el programa opera enun nivel comunitario, se hacía necesario contar con espacios de evaluación grupal y desde una percepcióncolectiva (iii) Aportar al empoderamiento de las organizaciones: se buscaba generar instanciasparticipativas que contribuyeran al desarrollo de capacidades en evaluación, fomentando así elempoderamiento de las comunidades intervenidas.2. Algunos aspectos teóricos que inspiraron el proyectoEl método de evaluación participativa, de acuerdo a lo señalado por Aubel (2000), supone la intervenciónde los participantes en la evaluación, lo cual ayudaría a asegurar que ésta mida temas apropiados yproporcione a los participantes un sentido de propiedad sobre los resultados de la evaluación.Nirenberg, Brawerman y Ruiz por otro lado, profundizan en que la evaluación participativa es aquella queinvolucra a los destinatarios y/o actores en las distintas etapas de los proyectos, no solo como fuente deinformación sino además con protagonismo en los procesos de evaluación (Nirenberg, Brawerman, Ruiz,2000).Además, una evaluación de este tipo activa un proceso de aprendizaje entre todos los participantes, quepuede traducirse en la construcción de capacidades locales en evaluación y el fortalecimiento institucional.Este proceso crea las condiciones necesarias en los participantes para la transformación de la realidad, loque se conoce más comúnmente como empoderamiento (Gallego, 1999). Dicho de otro modo, esteproceso no es únicamente evaluativo sino que también apunta a generar un espacio de reflexión colectiva3Actualmente es preocupación de las ciencias sociales y de las instituciones con intereses públicos velar por el uso de un lenguaje nosexista y/o discriminatorio en sus escritos. Atendiendo esta preocupación es que muchos escritos ya no utilizan el masculino genéricopara referirse al plural y mencionan siempre el plural en femenino y masculino. En este caso utilizaremos el masculino genérico sólocon el fin de facilitar la lectura, sin desmerecer en ningún caso la importancia del uso de un lenguaje no sexista.4Servicio País es el programa de intervención social de la Fundación para la Superación de la Pobreza (FSP). Su propósito es contribuira que “personas que viven en situación de pobreza y vulnerabilidad social, visibilicen, activen y conecten capacidades y recursos parallevar a cabo proyectos de desarrollo en algún(os) ámbito(s) de su bienestar (educación, salud, hábitat, trabajo o cultura), generandoa la vez que jóvenes en pleno desarrollo profesional desarrollen competencias para la intervención e investigación en contextos depobreza, que puedan posteriormente aplicarse en los espacios laborales donde estos/as jóvenes se desempeñarán.”5Es el área de investigación social de la FSP, su propósito es elaborar propuestas para el perfeccionamiento de las Políticas Públicasorientadas a la superación de la pobreza.3
acerca de los aprendizajes. Esta idea se entiende también desde el concepto de Habermas sobre lageneración colectiva de conocimientos; un proceso de evaluación participativa contribuye a la modalidadcolectiva de generación de conocimientos, y a la creación de campos epistemológicos de intersubjetividad(Habermas en Nirenberg, Brawerman, Ruiz, 2000).Por último, como señala Fink (1988), los procesos de evaluación deben promover la participación,autodeterminación, colectividad y el desarrollo de estructuras sociales de abajo hacia arriba y no al revés.Así, las evaluaciones participativas tienen un valor práctico y un valor ideológico. Procesos evaluativos biendesarrollados ofrecen otra oportunidad para desarrollar capacidades, como pensamiento y análisis crítico,planificación y toma de decisiones. La evaluación participativa permite que los participantes se sientandueños del programa. Dicha capacidad del proceso evaluativo es lo que, desde el programa Servicio País,hemos llamado el componente interventivo de la evaluación, es decir, no solo se busca evaluar losresultados del programa desde la subjetividad y colectividad, sino también intervenir propiciando unespacio de reflexión de la comunidad acerca del propio proceso vivido, generando un ejercicio guiado demetacognición.3. Objetivos del piloto de Evaluación participativaObjetivo general:Desarrollar un proceso de evaluación participativa (cualitativa, grupal e interventiva) en intervencionesServicio País, que contribuya a la participación y reflexión de la propia comunidad y otros actoresparticipantes, acerca de los resultados esperados, logros y aprendizajes alcanzados.Objetivos específicos:Los objetivos específicos se agrupan en dos tipos: objetivos evaluativos (buscan contribuir a la evaluacióndel programa y sus intervenciones), e interventivos (buscan utilizar la instancia evaluativa paraafectar/retroalimentar la intervención).Evaluar procesos, resultados y efectos de las intervenciones Servicio País desde la perspectivasubjetiva y experiencial de la comunidad y otros actores relevantes.Incorporar los resultados y aprendizajes de esta evaluación cualitativa como complemento a losresultadosresultados cuantitativos de logro.Implementar una metodología cualitativa y participativa de evaluación a nivel de intervenciones,que sea pertinente, que abarque procesos de la intervención, y que permita la participación yreflexión grupal,grupal propiciando así un espacio donde los participantes logren visualizar, racionalizare interiorizar las dificultades y aprendizajes, como también definir criterios esperados de logro(evaluación que retroalimenta la intervención).4
4. MetodologíaDe acuerdo a los objetivos recién señalados, la metodología utilizada en el piloto de evaluacionesparticipativas Servicio País tuvo tres principales características. Primero, se utilizó la metodología cualitativa,cualitativaconsiderando que Servicio País propone intervenciones sociales que afectan las experiencias y subjetividadde las personas y comunidades, y por tanto era necesario abordar los logros, fracasos y efectos delprograma, a partir de las interpretaciones subjetivas de las propias comunidades participantes. Segundo,la metodología debía tener capacidad de abordar los resultados desde una perspectiva grupal,grupal lo cual escoherente con la estrategia comunitaria del programa y con el concepto de participación utilizado, que enel modelo Servicio País refiere a la participación activa, crítica y colectiva de los destinatarios. Tercero, ytambién en sintonía con la mirada de pobreza de la FSP y el modelo de intervención promocional deServicio País, se diseñó una metodología que considerara técnicas participativas y facilitadoras delempoderamiento de los beneficiarios.En relación a los tres puntos anteriores, y la necesidad de incorporarlos en la metodología de evaluacióndel programa, se eligió el método de evaluación participativa como la alternativa más apropiada paraabordarlos.ModeloServicio PaísTipoEvaluaciónEnfoqueexperiencial gura 1: Coherencia de la Evaluación participativa con el modelo Servicio País.Evaluación propia.4.1 Técnicas y temporalidadLa evaluación participativa utiliza técnicas cualitativas de recolección de datos. En este caso se recurre a larealización de talleres grupales, utilizando un set de herramientas que motivan la participación. El métodoes flexible en el sentido de permitir a cada equipo ejecutor6 tome decisiones acerca de la planificación ydiseño de los talleres en cada fase, además de la elección de cuáles herramientas participativas se utilizarány qué actores serán convocados.6El Programa Servicio País se ejecuta de manera descentralizada. En cada región del país se instala un equipo regional. Cada equiporegional diseña los talleres a desarrollarse en intervenciones de su región.5
En el piloto se realizaron tres fases de evaluación anual, en atención al ciclo de intervención del programa.Las actividades debían realizarse específicamente para la evaluación participativa, es decir, se convocó alas personas a dichas actividades en específico y éstas no fueron parte de otras actividades de laintervención. Esto caracteriza además a esta evaluación como una de tipo Ex dure.En cada una de las tres fases de evaluación se realizaron a lo menos dos talleres, que convocaron a lacomunidad y contraparte institucional del territorio intervenido (autoridades y técnicos municipales).Durante la primera fase se levantaron expectativas de logro del trabajo conjunto, en la segunda seanalizaron avances en torno a estas expectativas, y en la tercera fase junto con el levantamiento final acercade los logros se proyectaron acciones futuras.4.2 Unidad de Análisis (UA) y Unidad de Observación (UO)La UA fueron las intervenciones Servicio País. La unidad de observación (UO) corresponde a los grupos depersonas participantes de dichas intervenciones.4.3 Criterios/dimensiones medidosEl piloto la evaluación participativa buscó medir procesos, resultados y efectos de la intervención, desde laperspectiva de la propia comunidad y otros actores relevantes.La medición de procesos implica evaluar los logros y actividades parciales de la intervención, y tambiénconstruir colectivamente criterios de logro esperado. Luego, para la medición de resultados se buscórescatar logros que surgieran espontáneamente en el discurso. Por tanto, la búsqueda de resultados en eldiscurso se estructuró de acuerdo a las expectativas expuestas por los participantes en la primera fase deevaluación.Por otro lado, en estos espacios de evaluación se esperaba observar en el discurso los mismos criterios delmodelo cuantitativo de logros, así como generar espacios para reflexionar sobre la manera en que seevalúan los resultados.Por último, y asociado con el objetivo interventivo de la evaluación, en la última fase de talleres se incorporóla dimensión proyecciones, que tiene por objetivo acordar colectivamente acciones para mantener lasostenibilidad de la intervención.6
5. Síntesis de ResultadosLos resultados del piloto se levantaron en base a análisis de contenido7, en concreto se analizaron:Transcripciones de 24 talleres evaluativosFichas de observación de 12 talleres4 entrevistas a informantes clave participantes de los talleresInformes de sistematización de 24 talleres evaluativosLuego, los resultados se abordaron desde tres categorías: (i) resultados evaluativos de las intervenciones(procesos, resultados y efectos de las intervenciones); (ii) resultados en base a los objetivos del piloto(evaluativos e interventivos); (iii) resultados/reflexiones en base a hipótesis propuestas.A continuación se presentan los principales resultados en base al análisis del piloto de evaluacionesparticipativas en intervenciones Servicio País:El análisis evidencia que el método de evaluación participativa contribuye de manera efectiva a evaluarel proceso y desempeño de las intervenciones Servicio País, desde una perspectiva cualitativa ycolectiva, donde los protagonistas son las personas participantes y no un equipo externo deevaluadores.El tipo de resultados y profundidad de la reflexión que emergen de las evaluaciones participativasrealizadas, están directamente relacionados con la etapa del ciclo en la que se encuentre laintervención.El éxito de la metodología de evaluación participativa depende en parte importante de que ésta seasuficientemente flexible para adaptarse al estado de avance de la intervención, como también alcontexto local y al tipo de actores convocados utilizando un diseño y herramientas pertinentes.La metodología implementada de evaluación participativa resulta especialmente eficaz para levantarpercepciones colectivas acerca de los procesos, expectativas y resultados de la intervención, sinembargo su potencial es limitado para rescatar percepciones sobre los efectos de la intervención. Esposible que en un proceso de evaluación más prolongado el análisis de efectos adquiera mayorrelevancia.Desde la perspectiva evaluativa del modelo, se planteó la hipótesis inicial de que la metodología deevaluación participativa pone en práctica un modelo de evaluación que contribuye al desarrollo deestructuras sociales de abajo hacia arriba (bottom up). Lo anterior es cierto en la medida que el métodocorresponde a un modelo evaluativo innovador, que desarrollado de manera adecuada logra ubicar alas personas participantes (o beneficiarios de programas) en una posición de protagonismo (a travésde la participación activa y proactiva). Ello en cierto modo contribuye al desarrollo de estructuras deabajo hacia arriba, sin embargo, hasta ahora esto ocurre solo a nivel de la intervención, es decir, lametodología implementada en el piloto no tiene capacidad de incidir en un nivel mayor, por ejemploincidir en el diseño del programa o de otras estructuras más avanzadas.7Para el análisis de contenido se recurrió a la codificación abierta utilizando el programa QSRNvivo.7
Por otra parte, el análisis del ejercicio en intervenciones Servicio País evidencia que si bien lametodología permite evaluar el desempeño de la intervención (logros), ésta además aporta enormevalor agregado al tratarse de un método de evaluación ex dure, es decir que evalúa durante el procesomismo y no solo al finalizar. Esto fue relevado como un punto central, puesto que la evaluaciónparticipativa se torna así en una herramienta interventiva que permite hacer ajustes a la planificación eincluso cambiar el curso de una intervención.Relacionado con el punto anterior y en cuanto al objetivo interventivo del proyecto, la metodologíapermite generar espacios de participación activa de las personas convocadas, como también propiciarla reflexión colectiva sobre la acción, y la visibilización de aprendizajes, siendo éstos inputs crucialespara la intervención.En los casos donde se logra la reflexión colectiva y visibilización de aprendizajes, la metodología puedeconducir a espacios de meta-cognición, en la medida que la técnica conduce a las personas yorganizaciones a darse cuenta, o tomar conciencia de lo que hacen, lo que han logrado y lo quepodrían lograr con su organización (o comunidad) y el programa. Además, el volver a conversarpermanentemente sobre las expectativas, objetivos, y logros esperados genera espacios de reflexióninterna en las organizaciones, contribuyendo positivamente a la motivación colectiva y al desarrollo deplanificación estratégica.Uno de los puntos característicos y factor de éxito de la evaluación participativa implementada fueronlas técnicas de participación utilizadas; se observó que el utilizar técnicas distintas a las convencionales8ponía a los participantes en un "estado diferente", que propicia la motivación y participación activadesde una lógica lúdica. En este sentido, es esencial que el diseño del taller incluya técnicas creativas,innovadoras y lúdicas que capturen la atención, propiciando un ambiente de motivación yprotagonismo de los participantes.También en relación a los alcances interventivos, se detectó que la metodología funciona positivamentecomo generador de espacios de trabajo colectivo con distintos actores u organizaciones relacionadasa la intervención. Por ejemplo, tiene muy buenos resultados como espacio de trabajo con lascontrapartes institucionales, en el marco de una lógica de mejora continua. También es valorada porlos participantes como espacio para conectarse y transmitir aprendizajes con otros actores que tienenexperiencias similares o que afectan su desempeño como organización (aprendizajes intra e interactores).Si bien entre las hipótesis iniciales se esperaba que la metodología activara procesos de aprendizajeque se tradujeran en la construcción de capacidades locales en evaluación y el fortalecimientoorganizacional, los resultados demuestran que esto se logra solo en parte; sí se desarrollan con fuerzaprocesos de reflexión y aprendizaje grupal, y sí contribuye efectivamente al fortalecimientoorganizacional, pero no es claro que se construyan capacidades locales para la evaluación. Se planteacomo hipótesis que el desarrollo de evaluaciones participativas más prolongadas en el tiempo podríanlograr instalar con más fuerza estas capacidades.8Al decir distintas a las convencionales nos referimos a otras técnicas participativas que no sea el tradicional grupo focal o entrevistasemi-estructurada donde predomina la lógica de pregunta y respuesta y existe un moderador del espacio que adquiere liderazgopor sobre los demás participantes.8
Relacionado con lo anterior, se esperaba que la metodología de evaluación participativa fuera uncanal de empoderamiento para los participantes. Al respecto, la experiencia ha sido un aporte en elempoderamiento de las comunidades desde la capacidad de definir metas y estrategias de maneramás autónoma, lo que en el largo plazo podría incidir en la sostenibilidad de los logros. Sin embargo,no existe evidencia suficiente para considerar
3 1.11.1. Introducción 3 Durante el periodo 2015 ‐2016 el equipo de Evaluación del programa Servicio País 4 con el apoyo de la Dirección de Propuestas País 5 (DPP) de la Fundación para la Superación de la Pobreza (FSP), desarrollaron un piloto de evaluaciones participativas en dos intervenciones
De todo como en botica: Manual de técnicas de comunicación participativa I. Unidad. Comunicación participativa “Eso lo sabemos muy bien, todo está unido entre sí, como la sangre que une a una misma familia. Todo está unido. Lo que le sucede a la Tierra, le sucede también, a los hijos de la Tierra” Carta del Gran Jefe Seattle
5 Manual de Planeación Participativa con enfoque de equidad en Comunidades de Áreas Naturales Protegidas Escuchan las propuestas de todas y cada una de las personas que la integran; Analizan y deciden colectivamente los caminos a seguir; y Se comprometen y asumen sus responsabilidades. Para que esta participación realmente sea efectiva debe ser:
el proceso como la evaluaci n parte de la educaci n, la medici n es una fase de la evaluaci n y el instrumento a utilizar, es la herramienta de la medici n. Cuando se van a aplicar los instru-mentos de medici n se debe seguir con se-veridad ciertas condiciones, como las que Zamora (1998) se ala: a. las personas que lo aplican pueden
ariados. DATA E DIA DA SEMANA TEMA DIREITOS DE APRENDISAGEM CAMPOS DE EXPERIÊNCIAS OBJETIVOS DE APREDINZAGEM DE ACORDO COM O C.E DESENVOLVIMENTO DAS EXPERIÊNCIAS RECURSOS MATERIAIS 03 /0 9 Quinta-feira *Família grande ou pequena? *Grupos de 4 elementos. Conviver; *EI02CG05 Brincar; Participar; Explorar; Expressar- se . ( -) O eu, o outro e o
Experiências em Ensino de Ciências V.7, No. 1 [2012] 55 TRABALHANDO NOÇÕES DE GEOMETRIA PLANA COM O GOOGLE EARTH TM (Working Concepts of Geometry Plane with GOOGLE EARTH TM) Karen Henn Gil [karenhenn@ig.com.br] Valderez Marina do Rosário Lima [valderez.lima@pucrs.br] Regis Alexandre Lahm [lahm@pucrs.br] Pontifícia U
laboratorios y también obtener las contraseñas de acceso a las experiencias. 2.2. Los laboratorios del CERE El núcleo y eje vertebrador del CERE son las diferentes experiencias, que se encuentran agrupadas por áreas temáticas. Cuando el estudiante accede a cada una ellas a través
Rescue3 Internacional SRT-1 El Rescue3comienza en California en los años 80, y recoge las experiencias de diversos ambientes de rescate en balsas de rafting, kayak, montaña, submarinismo, mar, etc. A partir de estas experiencias se crea el prim
Adventure tourism is generally thought to involve land-, air-, and water-based activities, ranging from short, adrenalin-fuelled encounters, such as bungee jumping and wind-surfing, to longer experiences, such as cruise expeditions and mountaineering. Yet, these activities overlap with other types of tourism, such as activity tourism and ecotourism, and this presents problems in clearly .
