Evaluar y rendir cuentas en educación… ¿para qué?

Ensayo publicado en la serie de libros "Una Propuesta para México", Tomo “Hacia una Educación Diferente”. Publicado por “Agenda para el México Contemporáneo A.C." Edición en español, 8 de noviembre de 2012.

Evaluar y rendir cuentas en educación… ¿para qué?

“La educación no debería ser nunca un accidente determinado por las circunstancias" Ban Ki-moon[1]

Antecedentes.

En los últimos treinta años, México como también en el resto de los países de América Latina, y poco antes en los países más desarrollados, han mutado las prioridades educativas de temas netamente relacionados con la expansión y el sostenimiento de la cobertura de los servicios educativos, a temas más relacionados con la calidad y equidad educativas.

Como parte de ello, en la región y en nuestro país hemos asistido a la constitución de entidades exclusivamente dedicadas al tema de la evaluación de la calidad de la educación, tales como el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación LLECE[2] en la región y el Instituto Nacional para la Evaluación de la Educación (INEE-2003) en México; así como en el ámbito internacional se ha dado un auge importante de otras instancias, como la IEA[3] y los estudios especializados de la OCDE[4] como es el caso de PISA[5], que en su última versión de 2009 aglutina además de los 33 países que conforman la OCDE (México entre ellos), otros 26 países más de distintas regiones del planeta. 

Adicionalmente, en el caso mexicano es de hacer notar que a partir del año 2006 la Secretaría de Educación Pública (SEP), instrumenta un modelo nacional de evaluación educativa denominado ENLACE[6], el cual pretende mediante la aplicación censal de pruebas estandarizadas de Lenguaje, Matemática y Ciencias Naturales desarrollar indicadores válidos que den cuenta de la calidad de la educación mexicana, con posibilidad de ofrecer información desagregada y comparable entre los distintos niveles de gestión del sistema educativo, desde el nivel nacional, hasta el nivel de los mismos alumnos a los cuales les son aplicados los instrumentos de evaluación correspondientes, pasando por diferentes ámbitos, tales como, el político-geográfico desde el país, el nivel estatal, el municipal y la localidad, o de gestión escolar, como lo son las secretarias de educación estatales, los sectores y/o zonas escolares, las escuelas, sus grupos y hasta llegar como ya se dijo, a los mismos alumnos que sustentan las pruebas.

Si bien este “boom” evaluador puede verse como un conjunto de iniciativas afortunadas en el ámbito de la gestión, planeación, evaluación y la rendición de cuentas en la política educativa, al llevar implícito el potencial de procurar información confiable, oportuna y sistematizada sobre algunos indicadores educativos, que con cierto grado de objetividad pueden acercar a los distintos tomadores de decisiones, investigadores y a los usuarios mismos de los servicios educativos, al estado de situación de la calidad educativa del país en cada uno de los ámbitos mencionados en el párrafo anterior, también es cierto que dichas iniciativas son cuestionadas en distintos foros por investigadores, educadores y entendidos de la educación por adolecer de una clara representación del esfuerzo escolar implícito en sus resultados, más allá de la influencia que factores ajenos a dicho esfuerzo ejercen en ellos, sobre todo aquellos de origen socio cultural y económicos de las familias de los alumnos.

Esta contradicción que tiene un sustrato que va más allá del sentido común, ya que la mayoría de las investigaciones rigurosas, que han explorado los factores explicativos de la varianza de los rendimientos educativos en todo el mundo, reconocen que existen un conjunto importante de factores extraescolares que impactan de manera importante dichos rendimientos, dentro de los que destaca el nivel sociocultural de las familias de los alumnos, lo que acentúa lo errado de declaraciones desafortunadas de algunos actores del proceso evaluativo, de que algunas modalidades educativas, sectores sociales, entidades geográfico políticas, tipos de escuelas, etc., tienen un mejor rendimiento que otras “per se”, cuando las aparentes diferencias son más en función del tipo de población que atienden. Ejemplo de lo anterior se da cuando se asevera que la escuela privada generalmente es mejor que la escuela pública o que las escuelas urbanas son mejores que las rurales o que las escuelas “hispanas” son mejores que las escuelas indígenas o que las secundarias generales son mejores que las telesecundarias, etc., todo ello, sin tomar en cuenta el contexto de origen en que el proceso educativo se da en dichos ámbitos, lo cual además de sobredimensionar a los más favorecidos, estigmatiza a los más marginados del desarrollo social, lo que es del todo equivocado, impreciso e injusto.

Esto es más complicado aún cuando se introduce el concepto de rendición de cuentas, “informar sobre lo que se hace con los recursos, elementos o materiales que le son entregados al estado, a las entidades federativas o a las escuelas mismas, para cumplir con el cometido específico de procurar una educación de calidad al pueblo mexicano”, si se considera como ya se apuntó antes, que dichos resultados son multifactoriales y que en su consecución intervienen tanto factores endógenos a la gestión intencionada del sector educativo, como factores exógenos a esta.

¿Cómo entonces poder evaluar la educación, rendir cuentas y ser imparciales, objetivos y justos, sin perder la perspectiva de la realidad, tal cual es? ¿Cómo, en el contexto de profunda diferenciación e inequidad social que caracteriza lamentablemente a nuestro país, podemos evaluar con objetividad el quehacer educativo sin caer en generalizaciones del todo injustas, inútiles, irrelevantes y carentes de la más mínima pertinencia para los sectores más desprotegidos de nuestra sociedad?.

Estado de situación.

En el ámbito internacional nuestro país es parte innegable de este “boom” evaluador, sin dejar de reconocer que nuestra participación es más el producto de la novedad de dichas mediciones internacionales en los años 90’s[7] o de los compromisos que la adhesión de nuestro país a Organismos Internacionales nos impone[8] o del mimetismo que generan la globalización en muchos de los ámbitos del quehacer humano[9], fenómeno al que el sector educativo no es ajeno.

Así entonces hoy día México por conducto del Instituto Nacional para la Evaluación de la Educación INEE participa activamente -y pareciera que de forma irreversible- de estudios internacionales, en los cuales además de aportar una idea general del lugar que ocupamos en ese contexto que permitan un análisis comparado, se ha buscado que sus resultados puedan reflejar realidades más cercanas a estamentos más particulares y diferenciados, como son los estatales, pero que aún así observan ciertas limitantes, dentro de las cuales podemos mencionar las siguientes[10]:

1. Los resultados agregados o promedio que estos estudios ofrecen en un contexto de inequidad y diferenciación tan pronunciada como el de México, aportan poco o nada a la realidad específica de las distintos contextos que tiene el país, aún cuando se reconoce que los resultados estatales ayudan en algo a paliar esta limitación, sobre todo en estados con realidades socioculturales muy homogéneas (los menos). Dicho de otra forma, los resultados crudos, sin “control” por nivel sociocultural de los alumnos, no permite diferenciar entre los mayores o menores puntajes de los mejores o peores puntajes.
2. Esta misma limitación se da en cuanto al análisis de los factores explicativos de los resultados, ya que su falta de estratificación acorde con las diferenciaciones socioculturales del país, da como resultado que dichos factores explicativos se sobre o sub dimensionen en el conjunto general de estudio o en sus análisis por estado. Lo cual obstaculiza la toma de decisiones y la definición de estrategias y políticas educativas específicas a cada realidad particular.
3. A lo anterior hay que sumar la desvinculación en el modelo evaluativo subyacente a este tipo de investigaciones, el grupo de edad al que se aplica (15 años) y la currículo en proceso de reforma que se observa en México, sobre todo en educación básica, generan dificultades para la comprensión de los resultados por parte de los docentes y la aplicación de medidas para superar las deficiencias observadas, más aún cuando en la gestión del currículo vigente no hay espacio para ello.

A nivel nacional, existen también las evaluaciones muestréales denominadas EXCALE, que reducen sustantivamente las limitaciones antes aludidas, dados su diseño estratificado, de base curricular, orientado a distintos niveles y grados educativos, que se acompañan igualmente con cuestionarios de contexto que permiten el análisis de factores asociados, pero que entran en contradicción con la aplicación censal,  denominada ENLACE que desarrolla anualmente la SEP en forma independiente.

En relación a las pruebas ENLACE, podemos decir que presentan ciertas limitaciones que son verdaderos ejemplos de la falta de “Rendición de cuentas” por parte de la SEP si se considera que según los dichos de sus autoridades actuales y de la administración pasada, en cada ejercicio anual se han aplicado más de 20 millones de pruebas a nivel nacional, con el consecuente gasto de recursos, que inexcusablemente nos llevan a las siguientes preguntas:

1. Después de que se han aplicado más de 75 MILLONES DE PRUEBAS, ¿Cuál es el beneficio que semejantes operativos nacionales han aportado desde hace seis años a la educación mexicana?
2. ¿En cuántas centésimas de puntaje se ha mejorado qué con estas inversiones millonarias, en detrimento de los apoyos que se pudo dar a proyectos que verdaderamente aportan a la mejora educativa como el de lectura[11] u otros?
3. ¿Cómo es que hasta este año, el actual Secretario de Educación Pública y precandidato frustrado a la presidencia de la República por un partido nacional, anuncia con “bombo y platillos”, que los resultados el año que viene apenas se utilizarán para orientar la capacitación docente?[12] ¿Para qué entonces se usaron estos resultados en 2006, 2007, 2008, 2009, 2010 y 2011 que haya justificado su altísimo costo?

En fin, más allá de lo que este desperdicio de recursos inaudito representa y de la indignación que puede producir, hay que tratar de ser lo más objetivo posible en el análisis, ya que en sí la idea de las evaluaciones censales utilizadas racionalmente, si tienen mucho que aportar, siempre y cuando superen las actuales limitaciones, tales como:

1. Al igual que las evaluaciones internacionales, los resultados de ENLACE no están “controlados”[13] por el nivel sociocultural de los alumnos, en consecuencia dichos resultados en gran medida solo reflejan las diferencias socioculturales de entrada de los alumnos y no necesariamente el esfuerzo escolar que se desarrolla por parte de ellos mismos en primer término, de sus maestros, de las escuelas y del sistema educativo en su conjunto ulteriormente, impidiendo con esto lo que ya apuntábamos antes, la diferenciación entre los mayores o menores puntajes de los mejores o peores puntajes, o dicho de otra forma entre cantidad y calidad.
2. Como resultado de lo anterior, no existe posibilidades de realizar investigaciones cualitativas ulteriores, vinculadas a los resultados controlados de ENLACE, que permitan ubicar y rescatar cuales son las buenas prácticas pedagógicas de las escuelas mexicanas (benchmarking), que hacen que algunas de ellas en condiciones de alta marginalidad o pobreza de sus alumnos, obtienen resultados muy lejanos a lo que se pudiera esperar de ellas, constituyéndolas como las mejores escuelas del país y no necesariamente las que mayores puntajes logran en la escala tradicional. 
3. Hasta el momento después de 6 años de ENLACE, no existe una relación univoca y personalizada entre sus resultados y la capacitación a nivel de cada maestro o profesor, con el objeto de ofrecerles la posibilidad de capacitarse en el manejo de las herramientas didácticas específicas según las debilidades que sus alumnos observan sistemáticamente y no como hasta ahora se hace, con  cursos generales, “interesantísimos”, diseñados cupularmente por los grandes “gurúes” de la SEP sobre las corrientes pedagógicas en boga, sobre los grandes hallazgos de la investigación científica, sobre “ciencias ocultas”, “trutru” o “cartomancia”, o qué se yo sobre qué, que en nada aportan a lo que en realidad requiere el docente de grupo para superar sus propias limitaciones en el manejo del currículo que es de su responsabilidad.
4. Los resultados de ENLACE no están vinculados a los procesos de planificación, programación y presupuesto, de evaluación de proyectos y de rendición de cuentas, como una forma de reconocer que el principal objetivo que toda acción educativa, es buscar en primera instancia impactar el aprovechamiento educativo, y si no se logra, entonces dichas acciones o no corresponde al sector educativo, o están mal diseñadas, o son innocuas o en el peor de los casos son dañinas, por lo que habrá de reubicarlas, replantearse o eliminarse.
5. Se ha propuesto que los resultados de ENLACE se relacionan con sistemas de estímulos y recompensas por modalidad educativa (secundarias generales, técnicas o telesecundarias) o por tipo de escuela (urbana, rural, indígena, comunitaria) o por tipo de organización (de organización completa, bi-docente, uni-docente o multigrado) o por control (públicas federalizadas, públicas estatales, privadas), lo cual representa un desatino, porque implícitamente es reconocer y aceptar por parte de la SEP que existen distintos tipos de educación, para mexicanos de distintas categorías, de primera, de segunda y de “n” clases, renunciando formalmente a su obligación de garantizar a todos los mexicanos sin importar sus condiciones de desigualdad, las mismas oportunidades de acceder a una misma educación de calidad.
6. Como consecuencia de lo anterior, los sistemas de rendición de cuentas (formales –órganos contralores, órganos encargados de la asignación presupuestaria, etc.-, o informales –sociedad civil, medios de comunicación, etc.-) ya sea por omisión o por ignorancia involuntaria, tienden a basar sus análisis y conclusiones en los puntajes o escalas llanas que generalmente en primera instancia ofrecen los sistemas de evaluación.
7. Al igual que las demás evaluaciones, PISA, EXCALE y ENLACE, todas están pensadas institucionalmente sin repercusiones “duras” para ninguno de los actores involucrados objeto de evaluación, desde el sistema educativo en su conjunto hasta los alumnos mismos que presentan los instrumentos, pero en la práctica no se pueden abstraer de las repercusiones sociales que acarrean sus resultados, sobre todo cuando no son debidamente presentados y/o explicados a la opinión pública, que se quiera o no, hace juicios de valor sobre ellos, que llevan por ejemplo, a conclusiones tan superficiales, equívocas o descontextualizadas como “México, último lugar a nivel internacional”, “Nefasto estado de situación de la educación mexicana”, “Tal entidad federativa ofrece la peor educación del país”, “Las escuelas “X” son las peores del sistema educativo”, etc. Que poco o nada tienen que ver con la realidad educativa que se juzga.

Así entonces, los actores educativos, los investigadores y la población en general preocupada por los temas educativos críticos de estos procesos evaluativos, tiene un respaldo innegable en la investigación educativa en sus cuestionamientos a estos modelos de evaluación, que hasta ahora pareciera que han puesto más su énfasis en la medición, que en la evaluación misma, como un juicio de valor basado más en datos contextualizados y no aislados de la realidad.

Ahora bien, llegados a este punto, se hace extremadamente importante dejar perfectamente claro que las limitaciones antes expuestas, de ninguna manera puede llevar al extremo de negar que la evaluación externa estandarizada es un buen termómetro para poder ubicar el estado de situación del fenómeno educativo, tal cual un termómetro físico lo es para determinar la temperatura del cuerpo humano, pero no para identificar la causa de dicha temperatura, ni las condiciones en que se da, ni las implicaciones que puede o no tener para la persona por sí sola, esto se da -siguiendo esta metáfora-, si, y solo si el médico analiza el contexto y situación de la persona, para poder definir si esa temperatura es el reflejo de la temporal y no dañina exposición del individuo a condiciones climáticas especiales o a una infección leve o a un tumor canceroso o meningitis aguda o a “x” razón específica que merezca o no la intervención urgente del facultativo.

Propuestas[14].

Es en el ámbito de esta argumentación que se hace necesario instrumentar mecanismos sistemáticos en el manejo de estos procesos evaluativos, a los efectos de que sin perder la riqueza que los resultados crudos sin contextualizar, ir avanzado hacia una nueva lectura de dichos resultados, que permita identificar con mayor objetividad y consistencia el resultado del esfuerzo escolar, más allá de las condiciones extra escolares que le impactan.

Antes de partir con las propuestas, es necesario enfatizar nuevamente que en sí, la evaluación y la rendición de cuentas son procesos útiles para la toma de decisiones y mejora constante de la calidad educativa, pero que requiere de una reformulación profunda, que les devuelva su utilidad como coadyuvantes en dicha mejora, para lo cual se les debe plantear como elemento de apoyo en un modelo integrado de planificación educativa y gestión de proyectos, no como fines en sí mismos como hasta ahora, sino que sus resultados alimenten invariable, permanente y estructuralmente el debate, la definición de la política educativa nacional y las estrategias, definir las metas, darles seguimiento, reorientar el camino y determinar responsabilidades a partir de los contextos en que ésta se da.

A partir de lo anterior, dado el limitado impacto que nuestro país puede tener en la determinación general de los modelos internacionales de evaluación como PISA, solo nos concretaremos a dar unas recomendaciones generales:

1. Continuar con la participación de nuestro país en estos ejercicios. Con la idea de poder reconocer y dar seguimiento a la posición relativa del país en el concierto internacional y determinar si avanzamos o retrocedemos, para así garantizar indicadores de calidad externos, que nos alejen de la autocomplacencia o catastrofismo a que nos puede llevar la sobre o subvaloración de lo propio si solo nos “miramos el ombligo”. Lo que requiere además, un análisis objetivo del costo-beneficio de todas las opciones en las que México participa, buscando responder a cuestiones como ¿es necesario que nuestro país participe de todos los ejercicios evaluativos que se realizan a nivel internacional? ¿en todas las oportunidades? ¿Los costos en cuanto pago de “membrecía”, viajes de funcionarios de alto nivel, costos de operativos, etc., se justifican a la luz del beneficio público tangible que conllevan?
2. Contextualizar instrumentos. Buscar la forma de influir en los contenidos de estas evaluaciones, con el objeto de que sean significativos a nuestra realidad o que se explique igualmente en su publicación cuales son los sesgos culturales, geográficos, o de cualquier otra índole que tienen;
3. Contextualizar los resultados. Que se propugne por que los resultados no tan solo sean presentados a la opinión pública a nivel internacional en forma de puntajes llanos, sino que se genere además una escala con la misma relevancia y visibilidad pública, que represente un Índice que refleje el Esfuerzo Escolar que cada país hace para tener los resultados llanos (Índice de Esfuerzo Escolar IEE, explicado más adelante en este documento), con el objeto de estar en posibilidades de evaluar los niveles reales de la calidad educativa del país, reconociendo su carácter estructural, en el cual gravitan otros factores ajenos al sistema educativo que explican sus resultados, para evitar interpretaciones poco objetivas e injustas;

Por lo que toca a los sistemas de evaluación y rendición de cuentas educativos nacionales, se propone solo como punto de partida para la discusión y diseño participativo del mismo, dos esquemas básicos, uno estructural o funcional que refleja los vínculos de la función de evaluación y rendición de cuentas con las demás funciones de un sistema educativo como el nuestro, y el otro, operativo, que muestra las relaciones básicas de flujo en la gestión de proyectos educativos de nueva generación o ya en operación.

En ambos casos, la propuesta es inicial y no pretenden por lo tanto ser exhaustiva, ya que todo el modelo sugerido parte de cambiar la forma del quehacer gubernamental en general, de un modelo jerárquico, autoritario, lineal, de arriba abajo, a uno más horizontal, democrático, racional y participativo donde sin perder la facultad de dirigir del estado mexicano, ni la visión inherente de la condición de la política, de que en general no se puede en todo momento, ni en toda circunstancia, garantizar el bien de todos, sino que en ocasiones se debe postergar el beneficio propio por el beneficio de la mayoría, para ulteriormente acceder al de uno, por lo que se tiene que convencer, concertar, dialogar y construir colectivamente las decisiones.

Esquema estructural de la evaluación y rendición de cuentas.

 

La primera propuesta de modelo es integrar La Participación Social al proceso de Evaluación Educativa y Rendición de Cuentas en forma permanente. Conviene así, enfatizar el carácter eminentemente participativo del modelo, ya que la actual falta credibilidad en las instituciones del Estado, hace necesario que todo mecanismo de evaluación y rendición de cuentas sea una construcción social, que genere la necesaria legitimidad ante la opinión pública y produzca la adhesión de los distintos actores involucrados en la educación, así como, su compromiso de instrumentarle y aceptar los resultados que de ella deriven. Por lo anterior es que en la base de este esquema figura en su primer plano tres componentes sustantivos; el primero referido a la sociedad civil como entidad donde surgen las necesidades sociales más sentidas y apremiantes de la población en su sentido más amplio y en el educativo. Al respecto el Dr. Luis Benavides Ilizaliturri indica[15], “mediante procedimientos adecuados de participación social asumidos en sí mismos como procesos educativos, se puede, en un tiempo relativamente corto, generar visiones de futuro compartido centradas en un proyecto colectivo que dé lugar a la transformación de México en el país que necesitamos, sustentado en la decisión social de un pueblo que define “soberanamente”[16] su forma de convivencia en función las siguientes necesidades de:

• Abrir horizontes culturales que vinculen a las redes sociales y que, posteriormente, estas redes sociales cuenten con redes tecnológicas (no al revés).

• Alimentar la memoria colectiva para que el paso de una país basado en la tradición a uno sustentado en la innovación, no haga perder valores sino los transforme con una nueva visión de identidad: (creación de memoria local “matrimonio cultural” vinculada al “patrimonio cultural” generalizado”).

• Generar una visión de futuro que permita reconocer los probables escenarios que el país y su sociedad tendrán que afrontar en el futuro, con objeto de tomar ahora las decisiones que harán de esos escenarios, oportunidades para potenciar el desarrollo social, económico y científico de México a partir de la educación.”

En ese mismo nivel la segunda propuesta consiste en la creación del Consejo Nacional para la Evaluación de la Educación, que dentro de otras cosas: subsumiría al actual INEE y la evaluación nacional censal llamada ENLACE, para concentrar en su ámbito de competencia la evaluación educativa en su sentido más amplio: internacional y nacional, censal y muestral, a partir del estado del arte de las ciencias y del currículo, etc.; dejaría de estar sectorizado bajo la coordinación del Secretario de Educación Pública y dependería directamente del Congreso de la Unión; reformularía y reorganizaría sus órganos de consulta hacia una participación social más amplia, que garantice entre otras cosas, que la academia y los centros de investigación participen en los diseños de sus metodologías y análisis de sus resultados, que los sectores más desprotegidos sean escuchados y consideradas sus carencias y realidades, que los empleadores y sindicatos aporten sus necesidades y visiones sobre las competencias laborales mínimas necesarias para la incorporación de las nuevas generaciones al mundo del trabajo, que la SEP y el SNTE, cada uno como un actor más en la confluencia de todos los demás, sean considerados desde sus propias perspectivas y legítimas reivindicaciones, sin detrimento de los demás sectores, etc. Por otra parte, el nombramiento de su dirección general sería por terna propuesta de sus órganos colegiados a dicha representación nacional para su selección, bajo el irrestricto cumplimiento de un perfil del más alto nivel técnico profesional especializado, verificable y documentado públicamente, como una forma de garantizar la independencia, probidad y transparencia de la operación y resultados del nuevo Consejo.

Complementariamente con los dos puntos anteriores, la tercera propuesta ya incluidas en otro ensayo de este mismo libro[17] se refiere a la constitución de un Comité del Conocimiento o Think Tank Educativo, el cual se debería abocar al tercer punto  referido en cuanto a la participación de la sociedad civil, “Generar una visión de futuro que permita reconocer los probables escenarios que el país y su sociedad tendrán que afrontar en el futuro, con objeto de tomar ahora las decisiones que harán de esos escenarios, oportunidades para potenciar el desarrollo social, económico y científico de México a partir de la educación”, en base en entre otras informaciones, a los análisis y resultados de las evaluaciones y rendición de cuenta realizadas por el Consejo Nacional para la Evaluación de la Educación.

Por lo que toca a la estructura funcional al interior de la SEP y de las Secretarías de Educación Estatales, la cuarta propuesta es vincular orgánica, operativa, permanente y normativamente la Evaluación Educativa y la Rendición de Cuentas, al menos inicialmente a los siguientes procesos: Análisis y diseño curricular; Instrumentación y operación de plan y programas  educativos;  Formación, capacitación y actualización docente; Sistema de estímulos y recompensas; Planeación, programación y presupuesto, así como la retroalimentación de todo el proceso con miras a un permanente análisis y diseño curricular, que garantice la corrección de errores, la rectificación del rumbo y la actualización del mismo a las condiciones cambiantes y de incertidumbre del entorno actual.

Esquema gestión de proyectos educativos vinculados a la evaluación y rendición de cuentas

En el ámbito de la gestión de proyectos existe un paralelismo con la anterior propuesta, por lo que la quinta propuesta se refiere a vincular orgánica, operativa, permanente y normativamente la gestión de proyectos con la Evaluación Educativa y la Rendición de Cuentas, de tal suerte que no repitamos los consabidos errores del pasado al asignar los escasos o muchos recursos con que cuenta el país, a proyectos que no tengan vinculación, repercusión o impacto con la responsabilidad básica del Estado de procurar las mismas oportunidades a todos los mexicanos para acceder, permanecer y concluir una educación de calidad y evitar lo que en su tiempo derivo en autorizar proyectos atendiendo más al capricho, ignorancia, corrupción o mala fe de los funcionarios en funciones en detrimento de proyectos verdaderamente eficaces y eficientes.

El éxito de las propuestas antes citadas depende en gran medida de complementar o modificar las formas en que hasta la fecha se hacen los análisis y son utilizados los resultados, ya que se hace necesario para que aporte su verdadero potencial evaluativo a la toma de decisiones, incorporar a su manejo el concepto de Índice de Esfuerzo Escolar (IEE).

En este sentido, la quinta propuesta radica en la construcción del Índice de Esfuerzo Escolar IEE[18] que acompañe invariablemente los resultados globales y desagregados de toda evaluación, lo cual coadyuvará a dar mayor objetividad a dichos resultados, evitando dentro de lo posible interpretaciones descontextualizadas y tendenciosas de estos resultados que estigmatizan o sobre dimensionan modalidades educativas, tipos de escuelas, entidades geográficas y/o políticas.

Con la actual información con que cuenta el sistema educativo mexicano: bases de datos de ENLACE, Estadísticas Continuas 911 y catálogos de integración territorial e índice de marginación del INEGI[19] y procedimientos técnico-estadísticos relativamente sencillos[20] es posible ya, arribar a una nueva escala de resultados educativos, que refleje el IEE implícito en cada nivel de desagregación posible, como una forma de reconocerle, más allá de las diferencias socio culturales de las familias de los alumnos que participan de los distintos servicios educativos, diferenciando así entre los mayores puntajes y los mejores puntajes.

Por otra parte, por lo que toca a los resultados aportados hasta el momento por la SEP en términos curriculares a partir de ENLACE, aún cuando estos han avanzado en cuanto a su desagregación estructural y curricular y ya se anuncia para el próximo año (2012) que habrá una relación entre sus resultados y la oferta de capacitación y actualización de los docentes, se hace necesario puntualizar la misma, por lo que la sexta propuestas consiste la obtención de información sobre las debilidades docentes de coyuntura (DC) y típicas (DT), que deberá basarse al menos en:

1. Producir información relacionada unívocamente con cada docente sobre las áreas cubiertas por las pruebas, que representan debilidades en sus alumnos en cada aplicación (debilidades de coyuntura DC), que orienten el diseño de la oferta general de capacitación y actualización docente y/o la revisión de programas, métodos o materiales para impartir dichas áreas que presenten DC.
2. Producir igualmente, información relacionada unívocamente con cada docente del mismo tipo que la anterior, pero a lo largo del tiempo (debilidades típicas DT), las cuales dan cuenta de las áreas de capacitación específica y prioritaria por docente, en función a las disciplinas o áreas curriculares que reiteradamente en el tiempo representan dificultad para sus alumnos y por ende, debilidad de su parte en cuanto al manejo de las metodologías y herramientas didácticas para su enseñanza, que por consecuencia lógica requieren ser reforzadas.

Lo anterior, no pretende desconocer a priori la necesidad de atender otras áreas del conocimiento que la autoridad educativa desee fomentar en los docentes, sino qué, y esta sería la séptima propuesta, se requiere que la capacitación institucional que el estado procure a los docentes este orientada a la mejora de los aspectos específicos que son observados como débiles en las evaluaciones que se realizan, como una repercusión directa de ellas.

Lo anterior nos acerca tangencialmente a un concepto que aún no hemos tocado directamente a lo largo de este ensayo, a las repercusiones que este tipo de evaluaciones deban tener para quienes presentan las pruebas, así como, para los responsables directos de que ellos desarrollen las competencias determinadas en el currículo, los maestros o profesores de dichos alumnos, su directores, supervisores o autoridades responsables de sus planteles, más allá de la que se dan en el ámbito informal que ya se mencionaron en párrafos anteriores.

En este sentido existen dos corrientes, la que propugnan por las repercusiones “duras” o de alto impacto como son la acreditación de un nivel o grado educativo para los alumnos a partir de estas evaluaciones, el ascenso o descenso de categoría en el escalafón docente, la ampliación o reducción de recursos para los distintos niveles de autoridad involucrados por los resultados, etc.; o las que mantienen la defensa de las denominadas repercusiones “blandas”, que sostienen que no debe de haber ninguna repercusión, más allá de las que se producen espontáneamente por la sola publicación de los resultados.

En este sentido, no corresponde a este ensayo la discusión académica sobre una u otra posición, baste con decir que ambas tienen aspectos positivos como aspectos no tanto o ciertamente negativos. En el primer caso, las críticas más recurrentes se relacionan con la poca representatividad que una evaluación de esta naturaleza, denominadas genéricamente como “de lápiz y papel” y de opción múltiple, pueden dar de todo un proceso educativo que se lleva a lo largo de todo un año, ciclo o nivel educativo, como para abrogarle repercusiones de tal naturaleza.

Por contra partida, la alternativa de desproveerlas de toda repercusión institucional, lleva consigo vicios presentes en las actuales prácticas de su aplicación, como por ejemplo, la falta de importancia que los alumnos dan a estas evaluaciones o la manipulación de su aplicación por parte de algunos docentes o directivos que impiden la participación de alumnos que ya se sabe que obtendrán bajos puntajes, ambas prácticas afectan la objetividad y representatividad más real de los resultados y los  promedios del grupo o escuela en cuestión.

Así entonces, la octava propuesta plantea que los resultados de las evaluaciones nacionales tengan repercusiones intermedias, ni totalmente definitorias, ni totalmente innocuas, dentro de las que se observan las ya apuntadas en puntos anteriores, relativas a su vinculación univoca pero acotada con procesos específicos de la gestión pública de la educación, pero que además para todos los alumnos que presenten las pruebas representen además, si no toda, si una parte relevante de su acreditación parcial, ya sea la calificación o parte de la que acredite el mes en que se realiza la prueba para cada disciplina evaluada, de tal suerte que si representará un impacto para ellos, no definitorio, pero si importante, por lo que se deberán de preocupar por participar y poner en juego sus capacidades, todo ello con el objeto de lograr mayor objetividad en la medición y conocimiento del estado de situación de la educación mexicana. Así mismo, los promedios por grupo o por escuela, zona o sector escolar también deben de tener un impacto además de en la capacitación, en un adecuado sistema de estímulos y recompensas para dichos niveles de estratificación. Importante en ambos caso, es que el impacto que se instrumente para alumnos, docentes, escuelas o demás niveles que sean evaluados a partir de estos mecanismos, esté dado invariablemente en función en lo que en este ensayo ha acentuado puntualmente, el Índice de Esfuerzo Escolar (IEE), ya que de otra forma se continuaría con las prácticas discriminatorias per se que en gran medida supone el uso de los puntajes sin contextualizar -que en este ensayo hemos dado en llamar “llanos”-, o la segregación a priori que supone el tratamiento por separado de las modalidades o tipos de instituciones educativas.

Con relación a este mismo punto de las repercusiones que debiera tener los resultados de las evaluaciones en términos de gestión pública de la educación, surge la novena propuesta relativa al establecimiento de un modelo de seguimiento de los avances que el sector educativo logre en el tiempo, expresado en la consecución de las metas educativas comprometidas, el cual llevará implícito el concepto básico de rendición de cuentas, que supone nuevos apoyos y fortalecimiento a iniciativas exitosas o el redimensionamiento y en su caso cancelación de aquellas que no representen mejora o en el peor de los casos afecten a la baja los procesos generales de mejora educativa según, corresponda.

En este mismo sentido de la rendición de cuentas, como décima propuesta se plantea la necesidad de trasparentar públicamente el uso de los recursos del sistema educativo, esto es, que todos tengamos acceso en línea y tiempo real a la información sobre la gestión de los recursos de todos los estamentos del sector educativo, desde los grandes agregados, hasta los datos de cada escuela: quienes trabajan ahí, con que cargos, con que responsabilidades, con que horarios, con que sueldos, con que asistencia, con que asiduidad, con qué logros, con qué recursos, etc., como una forma de garantizar la posibilidad un real ejercicio de la contraloría social, sobre cómo se usan los recursos que todos los mexicanos aportamos vía impuestos, a la educación de las nuevas generaciones.

A estas alturas de este ensayo, la décima primera propuesta se relaciona con la necesaria instalación de un modelo de investigación mixta permanente, que convine la investigación cuantitativa con la cualitativa, que permitirá tanto las consabidas visiones de conjunto y  generalizaciones propias de la primera, como la profundización particular de la segunda, con el consecuente enriquecimiento de la perspectiva sobre el estado de situación de la educación, como de los factores que le explican en el contexto exclusivamente mexicano en sus distintos niveles de agregación posibles, como también su comportamiento en el tiempo, para facilitar tanto la toma de conciencia de alumnos, padres, docentes, directivos, supervisores, jefes de sector, autoridades educativas y comunidad; como la consecuente construcción colectiva de estrategias de mejora específicas que atiendan las especificidades y necesidades de cada realidad, con metas concretas escalonadas en el tiempo para la mejora educativa constante, sin necesidad de costosos y sofisticados modelos e instrumentos de investigación nuevos sino a partir de la información ya existente, rescatar para la toma de decisiones de la política educativa, cuales son las mejores prácticas de gestión escolar y pedagógica que subsisten en el sistema educativo actual, que son desconocidas e ignoradas por falta de modelos de investigación racional a partir de la información disponible.

Finalmente, todo lo anterior se hace necesario si se considera la actual tendencia a incorporar a la gestión del sistema educativo, elementos de juicio que faciliten la rendición de cuentas, y a partir de ella, derivar “consecuencias duras” que premien el real esfuerzo de los actores educativos cuyo desempeño aporte sustantivamente a elevar la calidad de la educación del país; o políticas y estrategias que coadyuven a identificar las mejores prácticas y/o los focos débiles del quehacer educativo e instrumentar acciones que permitan elevar efectivamente la calidad educativa.   

Conclusiones.

Es importante reconocer que en esta materia existen claros avances en el caso mexicano, baste con mencionar un tema que de forma intencionada fue omitido a lo largo de este ensayo, la larga historia y tradición existente en el sistema educativo mexicano de reportar sistemática y periódicamente datos estadísticos, mediante la puntual elaboración del formulario conocido como “911” y su posterior recolección, depuración y sistematización, que desde principios de la década de los 70’s del Siglo pasado, año con año ha permitido la elaboración anual de documentos que reflejan el panorama educativo del país y apoyado decisiones importantes para determinar la política educativa.

Sumado a lo anterior, también es de relevar tres hitos que han significado la evolución de la evaluación educativa mexicana en los últimos años: La participación de México en evaluaciones internacionales, tales como PISA y LLECE; la creación del Instituto Nacional para la Evaluación de la Educación, INEE; y la instrumentación de los Exámenes Nacionales de Logro Académico en Centros Escolares, ENLACE, hechos que en sí mismos reflejan un avance significativo por parte del país en materia de evaluación y rendición de cuentas relativas a la educación mexicana.

Si bien es cierto lo expuesto en los dos párrafos anteriores hoy día y dados los indicios con que se cuenta sobre los actuales niveles de calidad de la educación mexicana, se hace necesario que generemos nuestras propias alternativas, que no esperemos a copiar o a que nos vengan del exterior las soluciones, sino que es necesaria la innovación doméstica, el creer en nosotros mismos y diseñar herramientas que nos sirvan para determinar con toda precisión y objetividad nuestros resultados, los factores que les explican y sus posibles causas, así como, definir  estrategias controladas, comprometidas y responsables que nos lleven en el corto plazo, a revertir los efectos indeseables que actualmente nos condicionan, derivados de las actuales condiciones de inequidad estructural que observa el país, para poder así, convertir a la educación en el motor de cambio que la sociedad exige y no como el reproductor de dicha inequidad en que ahora se encuentra empantanada.

Elemento sine cuan non para esta trasformación es el abandono de la soberbia que conlleva el creer que todo lo sabemos, que la sociedad es un ser inerte al cual nosotros desde nuestro púlpito académico, político o burocrático le debemos proporcionar los remedios que nuestra arrogancia considera como los necesarios y únicos para la solución de la actual problemática, rehuyendo en forma sistemática por temor, ignorancia o mala fe a reconocer la sabiduría acumulada en la experiencia, en la participación social, en la visión de los otros. De ello deriva la primera y principal propuesta de este ensayo, reconocer en la participación social la fuente primigenia de la realidad y de la soberanía del pueblo.

Complementariamente con lo anterior, se hace necesario reivindicar la planeación desde el estado, como la única forma de paliar los nefastos efectos de dejar a las fuerzas del mercado la irrenunciable obligación del estado de detener, atenuar o eliminar dentro de lo posible las inequidades y pobreza imperantes en el país, al diseñar, implementar y dar seguimiento a estrategias que como las aquí planteadas, busquen impactar la educación en al menos los siguientes aspectos:

A.    Re-significar de la interpretación de los resultados de las pruebas estandarizadas a partir del Índice de Esfuerzo Escolar IEE, con una perspectiva de objetividad, justicia social, utilidad práctica y rigor técnico.

B.    Revalorizar de la actividad docente más allá de las condiciones de pobreza de su entorno.

C.    Racionalizar de la oferta de formación docente en servicio con base en las necesidades reales de capacitación, derivadas del comportamiento histórico de sus alumnos.

D.    Superar en el corto plazo sensible y permanente los actuales niveles de desempeño de la educación mexicana en el concierto internacional de las pruebas de PISA, a partir de la instrumentación de las recomendaciones del estudio.

---

[1] Cita del discurso de Ban Ki-moon, Secretario General de las Naciones Unidas, en la presentación del “informe de Seguimiento de la Educación Para Todos EPT en el Mundo, 2010”, presentado  el 19 de enero de 2010 en la Sede de las Naciones Unidas en Nueva York, en presencia de la Directora General de la UNESCO, la Sra. Irina Bokova.

[2] El LLECE se constituye en la Ciudad de México en el año de 1994, conformado por 16 países de la región que encargan a la Oficina Regional de Educación para América Latina y el Caribe de la UNESCO (OREALC) su coordinación, así como  la ejecución del Primer y Segundo Estudio Internacional Comparativo y Explicativo sobre Lenguaje, Matemáticas y Factores Asociados al rendimiento educativo en Tercero, Cuarto y Sexto grados de Educación Básica.

[3] Asociación Internacional de Evaluación (IEA por sus siglas en inglés)

[4] Organización para la Cooperación y el Desarrollo Económico, OCDE.

[5] Programa Internacional para la Evaluación de Estudiantes, PISA, coordinado por la OCDE.

[6] Evaluación Nacional del Logro Académico en Centros Escolares, ENLACE.

[7] La primera participación de nuestro país en este tipo de ejercicios internacionales se da con la lamentable actuación de México en 1996 en el Tercer Estudio Internacional de Matemáticas y Ciencias Naturales TIMSS, donde apoyados en argumentos verdaderamente ridículos, se negó la publicación de los resultados.

[8] En específico la OCDE, que condiciona a sus países miembros a participar del proyecto PISA.

[9] Caso concreto es la participación de México en el LLECE, donde es su momento también se trato de cuestionar los resultados, con los mismos argumentos que en el estudio de TIMSS.

[10] Para efectos de este ensayo las referencias se hacen fundamentalmente en función de los estudios de PISA.

[11] Conclusión hecha por el equipo de evaluación externa encabezado por Fernando Reimers de la Universidad de Harvard, que a finales de la anterior administración examinó los proyectos más emblemáticos de la SEP de ese periodo.

[12] ¿Cómo es posible esto? Si el autor de este artículo en 2005 en entrevistas con Director General de la Unidad de Planeación y Evaluación de Políticas Educativas y la Directora General de Evaluación  de la SEP  les orientó a ambos sobre el uso de la evaluaciones educativas como  instrumento base de la toma de decisiones y no como operativos “per se”.

[13] El concepto de “control” desde el punto de vista de la evaluación educativa, se refiere a la eliminación en los puntajes que obtienen los alumnos en pruebas estandarizadas, del impacto que factores ajenos a la labor educativa tiene en dichos puntajes.

[14] Las siguientes propuestas recogen en parte y adicionan lo que el autor de este texto sugirió en su momento (2005) a los funcionarios responsables del diseño original del operativo de ENLACE ya citados; a la Dirección General de Desarrollo Curricular de la SEB-SEP, (2009); a la Fundación para la Cultura del Maestro (2009); a la Dirección General de Innovación y Fortalecimiento Académico de la Administración Federal de los Servicios Educativos del DF; a las Secretarias de Educación de Puebla (2010), de Querétaro (2011) y de Chiapas (2011).

[15] Extracto adaptado por el autor, de un documento de trabajo presentado por el Dr. Benavides, Director General del Centro Internacional de Prospectiva y Altos Estudios CIPAE, en el marco del diseño del proyecto de “Ciudad de México, Ciudad Educadora y del Conocimiento” desarrollado por la UNESCO para el gobierno del Distrito Federal en 2008.

[16] Art. 39 Constitucional.

[17] Consulte el ensayo denominado “Pasado, presente y propuestas de futuro en la educación mexicana” de esta misma publicación.

[18] Índice a construir a partir de la diferencia entre el puntaje esperado según el nivel sociocultural de los alumnos (variable independiente en el corto plazo a las acciones del sector educativo), y los resultados realmente obtenidos en las pruebas estandarizadas tipo ENLACE, PISA o LLECE. Un ejemplo del IEE se puede ver en el ensayo denominado “Un ejercicio de educación comparada, México en el contexto internacional” de este mismo libro, a partir de la relación entre los resultados de PISA y el Índice de Desarrollo Humano de la ONU.

[19] O en su caso desarrollar un indicador “ad hoc”,  simultáneo a la aplicación de los instrumentos evaluativos de ENLACE.

[20] Cálculo de “Residuos”.