María de los Ángeles Pérez Hernández¹; Eddy Conde Lorenzo²; Juan Francisco Santos Estévez³, Geidy Díaz Crespo⁴

Centro de Educación y Promoción para el Desarrollo Sostenible (CEPRODESO). Investigaciones y Servicios Ambientales, ECOVIDA. Calle Maceo 114 entre Estrada Palma y Colón, Pinar del Río, Cuba. Teléfono 771692
¹Master en Desarrollo Social, Investigadora Agregada, Profesora Auxiliar. Correo electrónico: mariangel@mhn.vega.inf.cu
³Master en Ecología y Sistemática, Profesor Auxiliar. Correo electrónico: jsantos@mhn.vega.inf.cu
⁴Master en Psicología Comunitaria. Profesora Auxiliar. Correo electrónico: geidy@mhn.vega.inf.cu

Universidad Hermanos Saíz de Pinar del Río. Calle Martí final, Pinar del Río, Cuba. Facultad de Ciencias Sociales y Humanísticas.
²Doctor en Ciencias de la Educación, Profesor Titular. Correo electrónico: conde@fcsh.upr.rimed.cu

RESUMEN

La presente investigación brinda solución al problema: ¿Cómo concebir el proceso de evaluación de impacto del programa de formación de CEPRODESO? (Centro de Educación y Promoción para el Desarrollo Sostenible) y su objetivo es: Fundamentar una metodología participativa para la evaluación de impacto del programa desde un enfoque sistémico, con proyección transformadora, sustentada desde la teoría del cambio y la prospectiva. Utiliza métodos cualitativos empíricos, como: el análisis documental para indagar en el archivo del programa, insumos que constatan el problema y corroboran las transformaciones generadas en los graduados y sus prácticas; también la Investigación-acción-participación por facilitar todo el proceso investigativo y de construcción colectiva de la metodología participativa creada como producto de tesis para uso de la red de educadores populares ambientales, al evaluar los impactos del programa y los que han generado sus prácticas en el contexto. Los principales resultados se centran en la creación de dicha metodología, desde una construcción colectiva e identitaria a la concepción de la educación popular ambiental y la generación de un sistema de categorías, dimensiones e indicadores que permiten la evaluación de impactos de esa concepción político-pedagógica, a nivel individual, de práctica grupal y de contexto socio natural. En el presente artículo se hace una síntesis de dicha metodología, la cual tributa al fortalecimiento de capacidades sociales para el Desarrollo local.

Palabras clave: Evaluación de impacto, Educación popular ambiental.

ABSTRACT

This research offers a solution to the problem: how to conceive the process of impact evaluation of the formation program by CEPRODESO? and its objective is: Laying the foundations of a participative methodology for the evaluation of impact of the program from a systemic approach, with transforming implications, sustained on the theory of change and prospective. Empirical qualitative methods are used, such as: the documentary analysis to examine the file of the program, input that verifies the problem and corroborates the transformations generated in the graduates and their practices; also the research-action-participation method was used to facilitate the whole research process and a collective construction of the participative methodology that was created as a product of a thesis to be used by the net of popular environmental educators, while evaluating the impacts of the program and those generated by their practices in the context. The main results are focused on the creation of such methodology, from a collective and distinctive construction on the conception of the popular environmental education and the generation of a system of categories, dimensions and indicators that make possible the evaluation of impacts of that political-pedagogic conception, at the level of the individual, group practice and of the socio-natural context. In this article, a synthesis is made of such methodology, which contributes to the fortification of social capacities for local development.

Key words: Evaluation of impact, Popular environmental education

INTRODUCCIÓN

La búsqueda incesante de alternativas y corrientes pedagógicas integradoras que asuman su interés evaluativo en los procesos, con carácter formativo y participativo, han ido superando en las últimas décadas, los enfoques reproductivos y trasmisivos.

En la Estrategia Nacional de Educación Ambiental vigente de forma explícita se expresa la necesidad de trabajar en la construcción de un sistema de indicadores que permita evaluar los impactos alcanzados por la actividad educativa. Una insuficiencia de muchos proyectos y programas de educación ambiental es la no sistematización de sus resultados y evaluación de los impactos.

Un proceso para la investigación de impacto como el que realiza el programa de formación de CEPRODESO, requiere de una metodología acorde a los principios funcionales de la concepción participativa de la E.P.A, razón esencial para la construcción y fundamentación teórica de una metodología que satisfaga tales propósitos y permita la evaluación de los impactos producidos por este programa en el territorio como contribución al desarrollo local sostenible.

MATERIALES Y MÉTODOS

Se seleccionó como universo, 90 actores egresados del programa de CEPRODESO, una muestra no probabilística intencionada, de 30 egresados, (miembros algunos de la red¹ de E.P.A que ha generado este programa) con incidencia desde sus prácticas sociales en los ámbitos: docente e investigativo, comunitario, e institucional, vinculados todos a prácticas de educación o gestión ambiental.

Como métodos teóricos, se utilizaron: el método histórico- lógico, el método sistémico-estructural y el método de modelación. Y como métodos empíricos asumidos: Método de análisis documental, Método de Investigación- acción- participación.

Se opta en la tesis por una evaluación concurrente, ya que el proyecto, se encuentra en ejecución, aunque en una nueva etapa de su desarrollo. Se toma para el diseño, un modelo no experimental cuyo énfasis lo constituye la unidad de análisis: grupo de beneficiarios actuales del programa y aquellos actores que han hecho uso de los productos y servicios que generó el mismo.

Se hace análisis por frecuencia relativa, atendiendo al porcentaje de casos por cada categoría identificada en cada instrumento aplicado:

• Entrevistas en profundidad a iniciadores del programa (4 actores). Objetivo: Caracterizar el estado inicial en que surge el programa y los impactos previstos, para establecer una comparación con el estado actual del programa.
• Entrevistas en profundidad (18 actores beneficiados por el programa: 6 con incidencia comunitaria, 8 con incidencia en la gestión ambiental institucional y 4 con incidencia en la docencia e investigación).Objetivo: Diagnosticar la contribución del programa de formación en ellos (desde lo personal, sus prácticas y el contexto).
• Grupos de discusión (2 grupos de discusión, cada uno, integrado por 12 actores: 4 de cada ámbito) uno de los grupos para constatar el problema a investigar, al evidenciar impactos y contribuciones del programa, y otro, con el objetivo de determinar las expectativas, finalidades, posibles momentos y características del proceso a desplegar para el diseño de la metodología participativa.
• Observación participante: Las observaciones participantes durante el proceso posibilitaron, constatar la existencia del problema identificado y la viabilidad de la muestra seleccionada de actores participantes, así como el comportamiento de las lógicas en el proceso de construcción de la metodología en etapas posteriores.

La construcción colectiva de algunas de las técnicas e instrumentos aplicados contribuyó a determinar desde la inducción-deducción, categorías de análisis.

RESULTADOS Y DISCUSIÓN

La evaluación del impacto social constituye: un proceso que implica diagnóstico, análisis, seguimiento, monitoreo, gestión y evaluación con diversos grupos de actores sociales, involucrados o con participación en el proyecto, programa o proceso en ejecución, y busca los efectos, tanto positivos como negativos, de las acciones planeadas, así como cualquier proceso de cambio social, invocado por dichas intervenciones, generando aprendizajes vivenciales. (Asociación Internacional de Evaluación de Impacto Social, 2006).

Al respecto, Santiago Correa, puntualiza: "El propósito de una evaluación es influir en el pensamiento social y la acción, durante la investigación o en los años subsecuentes. También es razonable esperar influencias a largo plazo". (Correa et al., 2002:87)

Destaca este autor, la validez del factor tiempo, para valorar los efectos de un programa en los actores comunitarios. Y la dimensión transformadora que produce en los actores sociales. Criterio que considera, la autora, ya que, permite investigar con veracidad en los efectos, y huellas que ha dejado durante años, el accionar de un programa en una población de actores determinada, tanto a nivel personal (en lo cognitivo, afectivo o conductual), como a nivel de práctica socio ambiental, a través de un grupo, comunidad o institución que incida en los cambios y transformaciones evidenciados en los niveles mencionados, y en la gestión o educación ambiental que se realice.

El Instituto Mexicano para el Desarrollo Comunitario, (IMDEC), considera a la evaluación de impacto como: "(…) un proceso de investigación participativo y negociado para identificar y analizar cambios significativos y/o duraderos en la vida de las personas y sus contextos, generados por una serie de acciones intencionadas" (Villaseñor, 2002:6). Por el sentido participativo y la congruencia con la concepción de la E.P.A, este constituyó un referente conceptual y metodológico importante en la investigación.

La evaluación de programas tomó auge en los años cuarenta, y fue en esta época que comenzaron a desarrollarse los modelos objetivistas que incorporaron este enfoque, destacándose: Tyler (1935), Suchman (1967), Cronbach (1980). Estos modelos de evaluación tuvieron como componentes fundamentales, la finalidad científica y política, la toma de decisiones, el ámbito o unidad de evaluación, y el rol o papel del evaluador.

Existen diversas clasificaciones de los modelos de evaluación, una de ellas utiliza como criterio básico, la conjunción de los distintos aspectos teóricos y metodológicos, agrupándose en modelos: Objetivistas, Subjetivistas, y Críticos. Esta agrupación en tres grandes concepciones responde a diversos enfoques metodológicos muy diferentes y ha sido sistematizada por varios autores consultados, como: Añorga y Valcárcel (2000) quienes centran la atención en ellos por las diversas formas en que se conjugan sus elementos.

La evaluación es entendida, desde los modelos participativos y naturalistas o apreciativos, como un proceso educativo en el que aprenden tanto los evaluadores (técnicos) como los evaluados (actores sociales), (Correa, 2002). Es este criterio determinante para una evaluación desde la concepción de la E.P.A en la que tanto educador, como educando valoran el proceso como una oportunidad de aprendizaje y crecimiento que tributa al desarrollo de habilidades sociales para un desarrollo local sostenible.

El diagnóstico participativo desarrollado demostró la existencia de impactos que ha generado el programa de formación de CEPRODESO y la necesidad de producir una metodología que responda al interés sistémico de la red de E.P.A, aunque el análisis de documentos del programa, devela la insuficiencia de indicadores de impacto que visualicen las contribuciones del mismo, a las transformaciones de actores egresados y el contexto, lo que reafirma la necesidad de evaluar los mismos para su socialización y valoración como pilar para la participación de actores en su desarrollo local.

Los tres ámbitos sugieren que el programa debe enfatizar en la multiplicación de formadores y la formación de sujetos colectivos con capacidad de incidencia en la política ambiental y las problemáticas socio naturales de sus ecosistemas.

La evaluación de impacto en programas de educación ambiental es de vital importancia ya que permite el desarrollo de habilidades y capacidades a los actores participantes para la gestión de procesos de desarrollo local.

Metodología construida para la evaluación de impacto del programa.

Los elementos teóricos que caracterizan a la metodología para evaluar el impacto del programa de formación de CEPRODESO, son: La teoría del cambio, el enfoque sistémico y la prospectiva, ellos posibilitan a los actores sociales, el diseño y construcción de procesos de evaluación de impacto desde una metodología participativa que genera las bases necesarias para comprender el desarrollo local en todas sus dimensiones.

Antes de planear todo cambio es necesario soñarlo, y sobre todo potenciar la razón de ser y credo compartido del grupo operativo que realizará dicha evaluación. Este criterio se conecta con el enfoque de prospectiva que permite visualizar todo cambio a alcanzar en un escenario futuro y con las lógicas de la educación popular que propone siempre construir el referente gnoseológico del grupo y potenciar los sentidos de pertenencia ante cualquier proceso.

A continuación, se propone por parte de la autora, siguiendo el enfoque de la teoría del cambio, operar con los siguientes términos a dialogar en el grupo:

Visión a largo plazo: ¿Cuál es el cambio más significativo esperado, la imagen objetivo, el macro cambio deseado para una situación particular?

Precondiciones: Resultados suficientes y necesarios, clave para la consecución de la visión de éxito. Iniciativas o estrategias que permitieron alcanzar resultados (precondiciones de un nivel superior).

Supuestos: Representan situaciones fuera del control organizacional que influenciaron las precondiciones. Permiten conocer si se alcanza o no el éxito en la implementación de las precondiciones.

¿Cómo establecer un mapa de cambio en función de la constatación de la información y en vistas a evaluar los impactos?

1 Distinguir el punto de partida del proyecto. Describir situación inicial en que el programa se propuso intervenir: Contexto, problemáticas socio naturales sobre las que se pretendió incidir, grupos de actores destinatarios. Responder a la pregunta:

¿Cuál es el cambio de largo plazo que se propuso el programa lograr?

En este sentido todo registro documental del programa o proyecto es válido para reconstruir esa línea base o punto de partida.

2. Compartir los supuestos construidos: cómo se visualizó esa visión a futuro, el cambio de la realidad, las estrategias que se planearon con las intervenciones, el tránsito y evolución que se fue logrando con el accionar durante el tiempo transcurrido.

¿Cuáles fueron las precondiciones (resultados previstos) necesarias y suficientes para alcanzar el macro resultado? Enfocarse en precondiciones críticas. Una teoría de cambio se enfoca en los resultados estratégicos que viabilizan la visión de éxito. Indagar en las precondiciones y en los niveles en que fueron manifestándose

3. Indagar en los efectos que se fueron dando en el uso de los productos por parte de los sujetos individuales, los grupos a nivel de práctica y en el contexto.

Establecer desde el sistema de indicadores construidos una comparación entre la actualidad lograda y aquellos indicadores que en un principio constituyeron el punto de partida (línea de base) que evaluarían el progreso en el logro de las precondiciones.

Se recomienda tener en cuenta la consideración de indicadores cuantitativos y cualitativos.

4. Identificar desde las intervenciones, los impactos atribuibles.

Seleccionar las precondiciones sobre las que se actuó. Puesto que pueden existir precondiciones en las que no se actúa dado que otras instituciones, u organizaciones ya tienen un rol claro y no se requiere mayor intervención.

Es una condición esencial valerse de métodos propios de la sistematización desde los postulados de la Educación Popular, tal como plantea (Antillón, 2001).

El diseño de la metodología de evaluación de impacto del programa, permitió una explicación detallada de cuatro etapas propuestas para su implementación: I. Etapa de sensibilización y conformación del grupo gestor de la investigación, II. Etapa de organización, planeación, obtención y procesamiento de la información, III. Etapa de construcción, diseño e implementación, del sistema de categorías, dimensiones e indicadores para la evaluación de impacto, IV. Etapa de recuperación metodológica, evaluación y validación de la propuesta, construidas colectivamente para su aplicación dinámica y didáctica.

Cada una contiene: Momentos, objetivos, descripción de actividades que se realizan, métodos, técnicas, evaluación, participantes y responsables.

Se diseña de forma colectiva para la tercera etapa, el sistema de categorías afines a la concepción de la E.P.A, del modo siguiente:

Formativa. En ella se contemplan las dimensiones: desarrollo cognitivo, desarrollo espiritual, cosmovisión ambiental, transdiciplinariedad, con sus respectivos indicadores establecidos para evaluar en cada nivel de análisis.

Dialógica. En ella se agrupan las dimensiones: asimilación del modelo de comunicación dialógica, horizontalidad en las relaciones de poder, comprensión del modelo mediático de comunicación ambiental, revalorización de saberes ambientales, con sus respectivos indicadores por cada nivel establecido.

Transformadora. En ella se determinan como dimensión: la ruptura de esquemas tradicionales hegemónicos presentes en las prácticas de educación y gestión ambiental

Articuladora. En ella se establecen como dimensiones: articulación lograda por las prácticas de E.P.A, y sus respectivos indicadores.

Participativa. En ella se reflejan como dimensiones: la formación de capacidades para la participación consciente, potenciación de grupos gestores o grupos ambientales comunitarios, cada una con varios indicadores que evalúan la efectividad de dichos impactos.

Este sistema de categorías, dimensiones e indicadores, se integran de forma sistémica y solo se separan con fines didácticos, para un análisis estructural de la metodología construida.

El enfoque sistémico en la metodología

Al particularizar en el carácter sistémico de la red de educadores populares ambientales, se conecta esta investigación con un enfoque sistémico que articula con el análisis de la complejidad. Estos actores serán capaces de usar la información que producen en un proceso de retroalimentación y a la vez de autorregulación para mejorar su desempeño o rol social ante el desarrollo local.

La red de E.P.A es protagonista directa, cogestora de esta historia investigativa, ella podrá discriminar y tomar decisiones a partir de la información que se genere en todo el proceso y revertirla con aprendizajes teóricos, metodológicos, para evaluar sus propias experiencias de E.P.A.

Principios orientadores y elementos organizativos desde la E.P.A para la implementación de la metodología

Principio de la construcción colectiva; principio del diálogo de saberes; principio de aprender-haciendo; principio de la participación consciente y auto desarrolladora.

Diversidad de ámbitos. Deberá intencionarse la transformación, según la incidencia del cambio contextualizado en niveles o ámbitos: individual, grupal (¿en qué grupos, instituciones o comunidades, nos interesa connotar el cambio?), social, ya en un contexto socio natural determinado, vienen siendo las unidades funcionales de los cambios.

Los métodos y herramientas. Estos deben ajustarse a los cambios cualitativos y cuantitativos que ha generado el programa en su accionar a lo largo de los años, deben elegirse los adecuados a una concepción dinámica y participativa.

Por citar algunas técnicas, cabe mencionar: Líneas del tiempo, diagramas de Ben, mapas de visualización, árboles de problemas, cadena de efectos, lluvias de ideas, dibujos proyectivos de construcción colectiva, los tan utilizados: grupos de discusión, entrevistas a profundidad, entre otras dinámicas creativas que puedan surgir y adaptarse a las ya mencionadas.

El sistema de categorías, dimensiones e indicadores se ajustará a las experiencias formativas que se estén analizando, el contexto sociocultural y los actores participantes, así como pensar en instrumentos de verificación de los impactos que se estén investigando y la repercusión positiva o negativa que estos han tenido en determinado grupo, contexto o individuo.

La atribución de dicho impacto debe ser discutida y lleva un profundo análisis de contexto y coyunturas para discriminar si fue resultado o no del programa.

Requisitos de los indicadores. Estos deben reflejar la temporalidad (cuándo), la cantidad (cuánto), el cambio en los sujetos beneficiarios (el qué y quiénes), lugar (dónde)

Análisis de la información procesada. Requiere de ordenamiento de la información obtenida y sistematizada. Elaborar preguntas que faciliten o guíen el análisis real de los impactos atribuibles al programa, por último, la socialización y evaluación final del proceso.

CONCLUSIONES

• La evaluación de impacto en programas de formación es un proceso de investigación participativa que requiere para su fundamentación de enfoques teóricos, tales como, la teoría del cambio, la teoría de sistema y la prospectiva; así como de principios metodológicos y orientaciones prácticas, sustentados en la concepción de la educación popular ambiental.
• El sistema de categorías, dimensiones e indicadores construidos de forma colectiva en este proceso de investigación-acción-participación, es identitario a la concepción de la E.P.A y contribuye a suplir los vacíos identificados en el diagnóstico realizado sobre la evaluación de impacto, tanto en el programa de formación de CEPRODESO como de las prácticas de educación ambiental vigentes en el contexto cubano que tributan al desarrollo local.
• El proceso de construcción de la metodología para la evaluación de impacto del programa de formación de CEPRODESO, desde un enfoque sistémico y participativo genera aprendizajes en los actores participantes para el desarrollo de sus prácticas evaluativas, tales como:
• La autocrítica en función de la auto transformación y coherencia en la praxis, entre el sentir, pensar y actuar.
• El liderazgo colectivo, la participación democrática y autodesarrolladora.
• El diálogo abierto, la escucha activa y la asertividad en la toma de decisiones.
• La comprensión de los sentidos políticos de las prácticas de E.P.A y su incidencia en la política ambiental local desde una planeación contextualizada y de compromiso social.
• El reforzamiento de una cosmovisión ambiental integradora para la gestión ambiental de cada contexto ante procesos de desarrollo local sostenible.

RECOMENDACIONES

• Socializar los resultados finales del proceso de evaluación de impacto del programa de formación de CEPRODESO a los miembros de la red de E.P.A y egresados de dicho programa, con vistas a la sistematización de los aprendizajes vividos.
• Implementar la metodología construida para la evaluación de impacto en próximos proyectos o procesos de gestión ambiental comunitaria de la experiencia, CEPRODESO.
• Continuar en la profundización de las categorías de análisis y el sistema de indicadores para el perfeccionamiento metodológico.
• Socializar resultados en el sistema de las ciencias para legitimar una metodología aplicable a escenarios institucionales y comunitarios donde se implementen prácticas de educación y gestión ambiental desde la concepción de la E.P.A que contribuyen al desarrollo local.

REFERENCIAS BIBLIOGRÁFICAS

Correa, S. et al. (2002). Paradigmas-enfoques-orientaciones y modelos evaluativos. Investigación evaluativa. Instituto colombiano para la Investigación Social. p. 87

Figueroa, J. (2006). La educación popular ambiental, una respuesta contra hegemónica. Educación popular Ambiental: ¿un posicionamiento único? Vol. I. Ed. Caminos. La Habana, Cuba. pp. 9-39

Quevedo V, Chía J, Rodríguez A. (2007). Midiendo el impacto. Ciencia, Innovación y Desarrollo pp. 8-13

Tréllez, E. (2010). La Educación Ambiental Comunitaria y la prospectiva: una alianza de futuro. Revista. Tópicos Ambientales. (10), p.10

Villaseñor, Silvia (2002). Investigación de impacto en proyectos de desarrollo. Una propuesta participativa. IMDEC, p.6.

Asociación internacional de Evaluación del Impacto (IAIA). (2004). Principios internacionales de la evaluación de impacto social. Frank Vaklay. Universidad de Tasmania. EUA.

Notas:

1.Tejido que se configura como un sistema complejo al constituirse en sujeto colectivo que incide en contextos y ecosistemas diversos, toma el nombre en algunas experiencias de grupo ambiental comunitario, en otras de grupos gestores, manifestándose como unidades de gestión alternativa que diagnostican su propia realidad para actuar en ella, formándose, dialogando, conociendo su biodiversidad, buscando armar juntos estrategias viables para resolver problemas ambientales que viven o para satisfacer necesidades existenciales y clarificar los límites, luchar contra aquello que les condiciona a actuar de forma sistémica y puede ser obstáculo para la emancipación y consolidación de un sistema socialista justo y emancipador.

Aceptado: enero 2014
Aprobado: mayo 2014

MSc. María de los Ángeles Pérez Hernández. Investigadora Agregada, Profesora Auxiliar. Centro de Educación y Promoción para el Desarrollo Sostenible (CEPRODESO). Investigaciones y Servicios Ambientales, ECOVIDA. Calle Maceo 114 entre Estrada Palma y Colón, Pinar del Río, Cuba. Teléfono 771692 Correo electrónico: mariangel@mhn.vega.inf.cu