Luis Doval -- Articulos Online

Evaluación y Calidad en los Sistemas Educativos

EL PROBLEMA

La Secretaría de Programación y Evaluación Educativa del Ministerio de Cultura y Educación de nuestro país, ha propuesto durante su última gestión, hasta el año 1999, un Plan de evaluación de la calidad educativa a nivel nacional. Este plan ha pasado a ser parte del proceso de reforma educativa. En función del tiempo transcurrido y de la finalidad del mencionado plan, hoy estamos en condiciones de preguntarnos:

¿En qué sentido la información obtenida en este plan de evaluación permite orientar la toma de decisiones políticas en materia de educación?

INTRODUCCIÓN

La Reforma Educativa que promovió la sanción de la Ley Federal de Educación, llegó traccionada por la modificación que, en los últimos años, sufrió la ecuación tradicional de los factores de producción (tierra, trabajo, capital), pasó de ser material�intensiva a ser intensiva en conocimiento.
La exigencia del momento se orientó a enfrentar las situaciones de crisis y conflicto que en el campo educativo producía la necesidad de responder a las demandas de un ambiente social, tecnológico y económico cada vez más dinámico. Situaciones planteadas más que por los reclamos de la comunidad, por la necesidad de impulsar y administrar el cambio desde las mismas agencias del estado.
Tanto las exigencias de cambio como el proyecto que lo promueve, se basan en procesos de diagnóstico y toma de decisiones que requieren, posteriormente, un correlato en el seguimiento, con la finalidad de verificar, modificar, adecuar, etc.
La Ley Federal de Educación, en ese sentido, incluye en su articulado la previsión de mecanismos para hacerlo. Con esa finalidad se instrumentó, entonces, el Sistema Nacional de Evaluación de la Calidad de la Educación (SINEC).
Este sistema definido "como una herramienta clave del Ministerio de Cultura y Educación de la Nación para garantizar la equidad en la distribución del conocimiento en todo el país", es el que desde 1993, realiza todos los años y en los distintos niveles del sistema educativo formal, un Operativo Nacional de Evaluación con un marcado énfasis, hasta el momento, en el rendimiento de los alumnos.
Responder a la pregunta formulada inicialmente implica, entonces, realizar un doble análisis entre conceptos, criterios y hechos. Los que describen y fundamentan las bases de la evaluación como campo del conocimiento, y los que se utilizan para instalar en el sistema educativo nacional, criterios de calidad que no estaban presentes hasta el momento de iniciar la Reforma Educativa.

LAS BASES GENÉRICAS DE LA EVALUACIÓN

El concepto de evaluación, tanto como el de calidad, para ser instalados en un contexto operativo, requieren de un ámbito de generalidad. Adoptar criterios de definición demasiado centrados en un aspecto o particularidad (la visión túnel), suele ser tan controversial que obstaculiza la labor concreta.
Es curioso que ambos conceptos, evaluación y calidad en el sistema educativo, evolucionan a partir de criterios de control que en ambos casos, remiten al Panóptico de Bentham en el sentido que lo menciona Foucault .
Abordaremos en primer término la cuestión de la evaluación y luego, distanciándola, la de la calidad .
En las líneas de trabajo que comienzan a desarrollarse a partir de principios del siglo XX, evaluación y medición son conceptos superpuestos, básicamente, sobre la base de concepciones cuantitativas formalizadas en modelos matemáticos. Modelos que nacen en el campo de la economía y de la organización del trabajo industrial y que luego, a partir de Tyler, comienzan a trasladarse progresivamente al sistema educativo, donde, en palabras de Imbernon:

"...es congruente con la perspectiva positivista de la época (con un dominio de la racionalidad técnica) que comportaba una visión psicoestadística de la evaluación e investigación educativa)..."

Actualmente, si bien no es criterio absolutamente generalizado, existe consenso en el ámbito educativo, en que hablar de evaluación supone hacer referencia a conceptos amplios que no sólo miden una actuación o la obtención de un objetivo focalizado, sino que también consideran y analizan variables que van desde las interacciones personales a los contextos de todo orden. En ese sentido apunta también Imbernón cuando dice:

"La evaluación ha de permitir, en la práctica educativa, hacer una retroalimentación constante para mejorar el proceso educativo y, por lo tanto, la evaluación interviene en el proceso educativo en todas las fases de un proyecto pedagógico: Evaluación de las necesidades de los alumnos, evaluación del diseño de la programación, evaluación del proceso y desarrollo en la práctica, evaluación de los materiales, evaluación del profesorado, evaluación de la institución y evaluación de los resultados".

    La idea, en consecuencia, es que la evaluación no sólo mide y controla, sino que también analiza y valora la calidad de lo que se constituye en objeto evaluado. Concepto que, posteriormente, intenta involucrar en la evaluación a todos los actores del proceso.
En ese sentido entonces, se promueven análisis de naturaleza comprensiva y global dado que evaluar, en tanto supone valorar, posee un carácter axiológico donde confluyen jerarquías de valor vinculadas no sólo a la evaluación propiamente dicha sino, también, a la dimensión política en sentido amplio, que todo proyecto evaluador porta consigo.
    La complejidad y la dimensión del proceso compelen entonces a la búsqueda de la mayor objetividad posible en la realización de una evaluación. Objetividad que no se pretende alcanzar por medio de la facilitadora expresión numérica, sino que para dar cuenta de la complejidad y multicausalidad del proceso, procura integrar múltiples dimensiones, variables e indicadores, de modo tal de ser abarcativa antes que simplificadora.
Para lograrlo, se procura que en la elaboración de una evaluación (desde el proyecto hasta las acciones que promueva), hayan sido integrados en proporciones adecuadas, la mayor parte de los siguientes ingredientes:
·    Una perspectiva amplia, integral y que ofrezca complementariedad metodológica.
·    La concepción del objeto a evaluar como un proceso continuo y no tan sólo como un suceso específico.
·    Dispositivos para reunir información que sean tanto internos como externos y que contemplen la auto y la coevaluación.
·    Enfoques tanto microscópicos como macroscópicos.
·    Inclusión de los diferentes niveles, procesos y personas intervinientes en el sistema educativo.
·    Integración de técnicas tanto cualitativas como cuantitativas para la recolección de datos.
·    Apoyo para la toma de decisiones hacia mejoras educativas.
·    Distanciamiento de los usos que conlleven consecuencias negativas.

Estos lineamientos genéricos, deberían utilizarse para considerar los conjuntos de variables que operan sobre el sistema educativo: el contexto, los recursos, los procesos y los resultados; aplicando metodologías tales como las de Thélot.
El resultado de este proceso, debiera conducir a instalar el concepto de evaluación en la escuela como una

"...responsabilidad ética, social y política inherente a la profesión de enseñar y no como una tarea técnica de control y medida escolar".

DIFERENCIAR EVALUACIÓN Y CALIDAD

Se agrega a los criterios expuestos hasta aquí, que avanzan desde el paradigma cuantitativo al paradigma cualitativo de la evaluación, el concepto un tanto esquivo de calidad, tanto más huidizo cuanto que es concebido en función del cristal con que se mira. Según expresa Bertoni:

"...los empresarios juzgan el valor y la calidad de los contenidos educativos y de la formación de los docentes; éstos, a la vez, discuten los parámetros en los que aquellos fundamentan sus juicios y los alumnos, a su turno, se incorporan a este diálogo cuando están en condiciones de comprender la importancia que tiene para su futuro la calidad de la enseñanza a la que tienen acceso..."

se suman, además, a este conjunto; padres, instituciones del estado, confesionales, gremiales, etc. todas con diferentes miradas sobre un supuesto objeto común. Resulta casi obvio que cada caso, cuando se hace mención a la calidad es probable que se esté hablando de cuestiones diferentes. En uno serán capacidades, en otro valores, en otro variables económicas, en otro salida laboral, en otro competencias y así sucesivamente. La polisemia conduce a la multidimensionalidad y a la dificultad intrínseca para adjudicar valor cuantitativo a la misma, como lo trae a colación Bertoni:
La calidad es difícil de medir, ya que su definición no es unívoca. Como dice Habermas, "la calidad escapa a nuestras palabras y mora en las cosas. Es tan cierto que existe cuanto que es difícil de captar" .

    Con la idea de acotar adecuadamente y posteriormente normalizar para su utilización en el sector productivo (ISO 9000 en adelante), las definiciones mas recientes respecto de ese objeto un tanto inasible, procuran vincularlo a una relación entre integrantes de un sistema que operan en búsqueda de un mismo objetivo, pero donde la relación entre ellos no es simétrica.
    Así, la perspectiva estaría tan centrada en el nivel al que se hace la observación como en el objeto observado y la calidad referida a éste, podría definirse como la posibilidad cierta de satisfacer o superar las demandas, expectativas, necesidades y deseos de quien se acerque a él en búsqueda de satisfacer una demanda.
    Donde esa definición se cumple, las cualidades que la posibilitan están incorporadas de forma tal que será dificultoso separarlas y medirlas pero, no obstante, generarán la estimación general y, la utilización que el conjunto de la organización �en este caso la escuela o entidad prestadora del servicio, nivel micro� hace de esas cualidades, le otorgan la habilidad para cumplir con los requerimientos que sobre ella operan.
    Se podría decir también que la calidad es un recurso de alta complejidad. Uno más de los que posee una organización para llevar a cabo su cometido. Concebida en estos términos, la calidad se manifiesta como una habilidad desarrollada, intrínseca al conjunto de una organización, que le ofrece a ésta la oportunidad de exponer los rasgos que la separan y la distinguen de las similares de su género.
    Al ser una habilidad generada, propia de cada organización requiere un aprendizaje por parte de quienes deben manifestarla; aprendizaje que se construye en etapas sucesivas y permanentes de evaluación y corrección; situación que implica una política de evaluación, tanto como una de capacitación, orientada al mejoramiento constante.
    Sin embargo, en este caso, no puede obviarse la inserción de la organización en un sistema �el educativo, nivel macro� que la trasciende y condiciona. El nivel macro es que el genera e instrumenta el contenido y la forma sobre la que el nivel micro despliega sus acciones. Allí existe una política de evaluación, pero falta la de capacitación. La posibilidad del subsistema para promover calidad, en consecuencia, es muy escasa.
    Ahora bien, estas apreciaciones breves que tan sólo pretenden mostrar la magnitud del problema que involucra evaluación y calidad �dos cuestiones complicadas y complejas en sí mismas� pueden ser en alguna medida contrastadas con los datos de la realidad observables en el sistema educativo y, más precisamente en el ámbito en que se desarrolla la evaluación de manera casi exclusiva: en las escuelas.

LA EVALUACIÓN APLICADA AL SISTEMA ESCOLAR ARGENTINO

Para analizar las pautas sobre las que se instala la evaluación de la calidad en el sistema educativo argentino, es factible acudir a documentos generados por el propio Ministerio de Cultura y Educación, donde se expresa:

"...El Sistema Nacional de Evaluación de la Calidad de la Educación fue creado por la Ley Federal de Educación como una herramienta clave del Ministerio de Cultura y Educación de la Nación para garantizar la equidad en la distribución del conocimiento en todo el país..."

"...el sistema consiste en la medición, año tras año, de los aprendizajes de los alumnos de todos los niveles del sistema. Esto permite obtener datos acerca del estado de la educación en todo el país y, a partir de ellos, producir recomendaciones metodológicas para todos los docentes para mejorar el trabajo en el aula, intensificar y orientar las tareas de capacitación docente y asistir a las provincias que presentan mayores dificultades"

De estos párrafos se desprende que lo que se evalúa es la calidad. Reiterando, supone cruzar dos conceptos complicados, complejos y que requieren marco amplio de definición.
Por otra parte, lo que se pretende con esta evaluación es garantizar la equidad. Podría inferirse de aquí que el sistema será de calidad en tanto sea equitativo, lo que suma otro problema: ¿que se entiende por equidad?.
En medio de tanta dificultad, lo que más claro queda es que la calidad se objetiva por medio de una medición del aprendizaje.
    Como resumen de lo expuesto surge la homologación de conceptos disímiles y la afirmación de que es posible evaluar un fenómeno social al medir una sola variable.
    Esta inconsistencia no parece ser un accidente, en otros documentos, se formulan definiciones que permiten percibir la continuidad de la línea argumental. Para ampliar sobre la evaluación de la calidad por medio de la medición de los aprendizajes, es factible acudir a otros documentos donde se expone que dicha medición permitiría:

"...tomar decisiones sustantivas en relación a cómo incrementar los aprendizajes, cómo enseñar mejor a más alumnos, en síntesis cómo mejorar la calidad de los servicios educativos..."

    Se puede observar que ya en los planteos iniciales no sólo está presente la inconsistencia sino que aquí calidad viene definida como incremento del aprendizaje y mejor enseñanza.
Sin embargo, aunque los criterios para evaluar sean diferentes, al igual que los instrumentos para hacerlo, no se ignora la mutidimensionalidad del fenómeno. Expone el mismo documento:

"Un sistema de evaluación se concentra prioritariamente en la producción de información referida tanto a los aprendizajes alcanzados por los estudiantes como a las características institucionales en las que se desarrolla el proceso de enseñanza-aprendizaje. Para recabarla periódicamente, se aplican pruebas a los alumnos y se realizan encuestas a los directivos, docentes y estudiantes evaluados."

    Se observa que en ese momento no se habla solamente de medir aprendizajes. Cbe sin embargo preguntarse sobre la diferencia que existe entre alumnos y estudiantes y cuál es el motivo que lleva a utilizar la encuesta en un caso y la prueba en otro. Sobre las encuestas no hay explicación amplia, pero sobre las pruebas hay datos concretos que permiten reconstruir su lógica a partir de la definición de los criterios para elaborarlas teniendo en cuenta:

"...las competencias que los alumnos debieran alcanzar al finalizar un ciclo o un nivel y los contenidos básicos de cada una de las disciplinas seleccionadas..."

    Y quienes las confeccionan deberán considerar los Documentos Curriculares (DC) vigentes en cada jurisdicción, la producción editorial destinada a docentes y alumnos de mayor circulación y los Contenidos Básicos Comunes (CBC) del nivel. Mas tarde;

"En función de dicha revisión se seleccionan los contenidos y competencias básicos y centrales de las diferentes disciplinas a evaluar. Debe tenerse en cuenta en este proceso de selección que sólo pueden ser incluidos en las pruebas contenidos que:
·    sean centrales desde el punto de vista de las disciplinas;
·    tengan altas probabilidades de haber sido enseñados.
·    puedan ser evaluados en forma escrita;
·    puedan ser evaluados en forma masiva;
Una vez seleccionados los contenidos y las competencias a evaluar en cada disciplina
comienza el proceso de elaboración de los ejercicios que integrarán las pruebas."

    A partir de estos párrafos, se verifica entonces que inicialmente se trataba de medir competencias y se procuraba hacerlo a partir de contenidos, surgiendo entonces una nueva inconsistencia.
Las competencias, en tanto conjunto de habilidades complejas que se ponen de manifiesto en el marco de acciones contextualizadas en ámbitos laborales, englobando conceptos, procedimientos, aptitudes y actitudes. ¿Pueden ser evaluadas con certeza por medio de una prueba escrita?
Los alumnos, que de acuerdo al planteo sobre cuya base se formula la prueba (DC, producción editorial, CBC), aprenden contenidos; ¿pueden luego ser evaluados sobre la base de competencias?
    Podrían formularse sobre esta base otras consideraciones: ¿equidad entonces, es que todos los alumnos del país sean capaces de memorizar y repetir más tarde el mismo contenido?, ¿es ésa la competencia requerida al subsistema?; ¿quién, cómo y porqué determina la centralidad de los contenidos?, etc.
Por último, a pesar que la documentación elaborada por el M.C. y E. no desconoce la magnitud del problema y expresa en distintos documentos la intención y la forma de realizar el adecuado "cruce de variables" para la obtención de resultados, estos parecen estar demasiado segmentados hacia la descripción realizada más arriba. La base de la difusión del sistema lo expresa claramente cuando se refiere a los resultados:

"El Ministerio de Cultura y Educación de la Nación produce anualmente las Recomendaciones Metodológicas para la Enseñanza que son distribuidas a la totalidad de las escuelas del país. De este modo se devuelve la información producida por el sistema de evaluación promoviendo a través de ello acciones de mejora. A partir de la identificación de los contenidos de las pruebas que concentraron las mayores dificultades un equipo de docentes y especialistas elabora sugerencias didácticas y metodológicas proponiendo alternativas para la presentación de los contenidos identificados, sugiriendo actividades diversas que puedan contribuir a la tarea docente, etc. Así, la información producida por el sistema de evaluación se convierte en una herramienta de trabajo que posibilita el mejoramiento de la labor docente."

Cobra relevancia la apreciación que realizan Dicker y Feeney en un trabajo al respecto donde se expone:

El Estado evaluador se coloca fuera del sistema educativo, con la única �responsabilidad de responsabilizar� a las escuelas, y en particular, a los docentes, del estado de la educación, midiendo cuánto el rendimiento de los alumnos, se acerca o se desvía de la norma impuesta por él. En otras palabras, el estado evaluador es a la vez �legislador y juez� , mas nunca responsable de la calidad educativa. En el caso argentino el Estado Nacional, ahora sin escuelas, a lo sumo provee a los docentes de más �normas para enseñar bien, aquello que se enseñó mal�, y que, por tanto, produjo un bajo rendimiento en algunos ítems (véanse las �Recomendaciones metodológicas para la enseñanza�. Subsecretaría de Evaluación de la Calidad Educativa, MCE, 1995). Si el rendimiento en futuros operativos volviera a ser bajo en los mismos ítems, será, sin dudas, porque los docentes no siguieron las �recomendaciones para la enseñanza� correspondientes.

    En consecuencia, más allá de los fundamentos y las explicaciones vertidas en documentos y recomendaciones, podríamos concluir diciendo que la evaluación que realiza el SINEC pareciera no respetar los principios conceptuales y metodológicos que la fundamentan como objeto de conocimiento.
Por otra parte, tampoco pareciera estar procurando evaluar la calidad en tanto no expone claramente qué es, a criterio de los evaluadores.
Podemos afirmar que la tarea del SINEC no es una valoración asistemática, desde el punto de vista de la evaluación, dado que considera los principales paradigmas, modelos y métodos que se utilizan en términos genéricos para realizar la evaluación del sistema educativo.
Pero también podemos decir que los enunciados de intención parecen desvirtuarse ante el resultado que la evaluación tiene ante los ojos de la sociedad en general: un ranking de escuelas a partir del cual elegir las de mejor calidad que, casualmente, coinciden con las que lograron obtener mejor nota.

LA RESPUESTA A LA PREGUNTA INICIAL

Tal como se expuso en los apartados anteriores, la evaluación que realiza el SINEC pareciera ser más una forma de investigación aplicada orientada a otorgar premios y castigos, antes que una tarea de comprensión. Volviendo a la pregunta inicial:
¿En qué sentido la información obtenida en este plan de evaluación permite la toma de decisiones políticas en materia de educación?, podemos decir que al ser claramente un instrumento de política educativa, está orientado a la toma de decisiones políticas. Para definir en qué sentido lo hace, podemos aparear las expresiones de principios con los datos de la realidad. A estar de las propias definiciones del M.C. y E. en cuanto a la utilización que se hará de la información obtenida:

"Quienes conducen las políticas nacionales y provinciales encuentran en la información producida por el SINECC elementos claves para diseñar políticas de mejoramiento de la educación; indagar en qué medida los diferentes grupos alcanzan los aprendizajes considerados básicos y cuáles deben mejorarse desde la enseñanza. También les brinda información para identificar las áreas o conjuntos de escuelas que requieren esfuerzos para mejorar la calidad y así diseñar las estrategias adecuadas."
"Esta información posee carácter diagnóstico. Por una parte puede ser utilizada por los niveles de conducción del sistema educativo con el objeto de definir las prioridades en términos de líneas de trabajo, el contenido de los programas compensatorios, proyectos de mejoramiento, etc. Por otra parte, en el ámbito de las escuelas, la información producida por el sistema de evaluación puede ser utilizada para la identificación de aspectos deficitarios, el diseño de acciones específicas de mejora, la orientación al desarrollo de los proyectos institucionales, etc."

    Todas estas expresiones, no obstante, parecen ser sólo manifestaciones de deseo o buenas intenciones por cuanto están referidas a un punto casi único: el desempeño del alumno frente a una prueba escrita.
Poco se puede decir sobre las estrategias adecuadas para mejorar la calidad en tanto ésta sólo sea una expresión numérica o qué se hará con los aspectos deficitarios que, necesariamente, apuntan a la transmisión de contenidos.
Si bien algunas de las consideraciones que aquí se presentan son un tanto lineales, permiten contestar adecuadamente la pregunta en el marco de un trabajo breve.
Podríamos afirmar entonces que más allá de las expresiones, las decisiones de política educativa que se promueven por medio del SINEC parecieran tomar el desempeño docente como variable de ajuste principal del sistema en su conjunto, por cuanto en su instrumentación parecieran subyacer configuraciones similares a las que, de manera asistemática, utiliza (y avala) la sociedad en su conjunto para evaluar la tarea de la escuela. Configuraciones del imaginario social que, ya para el nivel del aula, se mencionan escasamente positivas, tal como expresa Santos Guerra:

En la escuela se ponen en circulación dogmas didácticos que difícilmente se cuestionan. Por ejemplo:
·    La enseñanza causa el aprendizaje.
·    El aprendizaje puede ser comprobado (medido) a través de las evaluaciones (o de los exámenes / controles).
·    Cuando las evaluaciones tienen un resultado negativo, algo le sucede al alumno (o los alumnos).
·    La recuperación es un proceso de automática, clandestina y enigmática eficacia.

Podemos agregar que, en este caso, la evaluación de la calidad demuestra que lo que le sucede al alumno tiene origen en el desempeño docente y que ni bien éste mejore, mejorará el sistema educativo en su conjunto.
Para finalizar, podemos afirmar que la información obtenida por medio de la evaluación nacional de la calidad, cuyo emergente visible para el conjunto de la sociedad son las notas de las escuelas, permite tomar decisiones políticas. Las decisiones políticas parecen dar resultado positivo, por cuanto las calificaciones de los alumnos y, por lo tanto, de las escuelas, mejoran cada año.
Queda por verificar a futuro si este sólo dato alcanza para determinar que la evaluación es la adecuada y que, efectivamente, mejora la calidad de la educación.

Luis Doval