Vistas de página en total

sábado, 1 de febrero de 2014

"Los Resultados de PISA2012. Entre lo esperado y lo esperable"




Amigos interesados en temas educativos, les comparto un nuevo texto de mi autoría, publicado en el número de este mes febrero por la Revista de Educación y Cultura AZ, en :
http://www.educacionyculturaaz.com/078/
Páginas 16 a 25


*************************************************************
Versión original
*************************************************************


Los resultados de PISA2012, entre lo esperado y lo esperable.
Autor: Juan Carlos Palafox Pérez de Salazar[1]
Durante el mes de diciembre pasado se dieron a la luz los resultados de la evaluación internacional del rendimiento educativo denominada PISA, quizá el ejercicio evaluativo más conocido y de mayor cobertura que se realiza en el mundo y que cada tres años vuelve a poner en el centro del debate nacional e internacional uno de los temas más redundantes y a la vez más poco efectivos de la política educativa de los últimas tres décadas, el tema de la evaluación educativa. Ocasión en que nuevamente los dos únicos países de Latinoamérica que forman parte de la OCDE[2] –la entidad que realiza este estudio-, ocupan los dos últimos lugares de los países que forman parte de ella -México el último en específico-, y con ello, no se dejaron esperar las expresiones de nuestras más altas autoridades indicando que los resultados de México no eran “los esperados”, motivo por el cual me parece oportuno reflexionar un poco sobre los mismos y lo que se debe entender sobre lo esperado y sobre lo esperable.
En las últimas tres décadas hemos asistido a la aparición de evaluaciones realizadas por la IEA[3], la OCDE, la UNESCO[4], etc.; en México como en casi todos los países de la región igualmente hemos visto un boom de este tipo de ejercicios promovidos inicialmente a partir de los empréstitos del Banco Mundial o del Banco Interamericano de Desarrollo en la década de los 90’s, pero lamentablemente, no existe evidencia empírica que pueda relacionar unívocamente dichas iniciativas evaluativas con mejora alguna en los niveles educativos de país alguno, lo cual pone en tela de juicio su verdadera validez como apoyo a la educación.
Es más, ejercicios simples de estimación aritmética de los resultados posibles de México y los países de la región a partir de los resultados obtenidos  en  los  primeros  esfuerzos  de  evaluación  educativa  internacionales (1998),  ya hacían prever que ésta por sí misma, no traería avances importantes respecto a la mejora educativa.
 
Prueba de lo anterior, fue la interpolación y posterior extrapolación de los resultados de TIMSS 1995[5] combinados con los del LLECE de 1997[6], calculadas por el autor de este artículo en 1998 para un documento interno de UNESCO[7], que a continuación se presentan en una sola escala, la cual se construyó a partir de la transformación de las escalas originales en la disciplina de matemática a unidades de Desviación Estándar, utilizando   la   posición   relativa   de   Colombia   en   la   nueva   escala   (único   país latinoamericano que participó en los dos estudios y publicó sus resultados [8]) para integrar las dos evaluaciones, obteniendo el siguiente cuadro:
[9].

 
 
En términos generales, en el cuadro anterior se puede observar que:

 
1.       Fue posible visualizar la probable ubicación de los distintos países latinoamericanos que no participaron en el estudio del TIMSS en 1995, a partir de los resultados obtenidos por Colombia en ambos estudios;
2.       La gran diferencia observada por Cuba en el estudio del LLECE con relación al resto de los países latinoamericanos, ubicaría a este país en el contexto del estudio del TIMSS dentro de los 10 mejores (en un cuarto lugar);
3.       El resto de los países latinoamericanos, en esta nueva escala, conformarían junto con la República Islámica de Irán, Kuwait y Sudáfrica, el grupo de más bajo rendimiento educativo;
4.       Partiendo de esta interpolación, a México, aun cuando ocultó sus resultados en el estudio de TIMSS-95, se le pudo ubicar por encima solo del antepenúltimo lugar de dicho estudio (lugar 38 de 42); y,
5.       Esta interpolación, elaborada en 1998, constituyó un pronóstico sobre los posibles resultados futuros de los países latinoamericanos en posteriores estudios de carácter internacional, pronóstico que se ha confirmado invariablemente en todos los estudios realizados hasta la fecha.
 
Como apoyo a lo mencionado en el último párrafo, en el siguiente cuadro se sintetizan los resultados de los estudios internacionales más importantes realizados hasta día de hoy.
 
 
Considerando lo anterior, conviene insistir en hacer algunas precisiones que ya he hecho en algunos otros textos, mismas que de no hacerse, pudieran generar conclusiones sobre o sub dimensionadas.
 
1.       En primer término es necesario acotar el ámbito de estas investigaciones en su real representatividad; para ello, tomaremos como ejemplo el caso de PISA 2012 -el último y de gran cobertura internacional-. Se puede observar que solo participan 65 países,  mientras en el mundo existen alrededor de 220; ello indica que cerca del 70% de países del mundo no participan en estos estudios, hecho que pone en tela de juicio aseveraciones tales como: “La calidad educativa de los países latinoamericanos o México, ocupan los últimos lugares --del mundo--”, tan presentes en los encendidos discursos de los artificiosos críticos educativos tan comunes en los medios masivos de comunicación;
2.       Continuando con el mismo ejemplo, el perfil de los países que sí participan en PISA es en su mayoría de alto o medio desarrollo humano, conforme al índice generado por las Naciones Unidas a este respecto; mientras la mayor parte de los países que no participan, son de desarrollo humano medio o bajo. Lo anterior, si consideramos que un porcentaje importante de las variaciones de los puntajes del rendimiento educativo está fuertemente asociado al nivel socioeconómico de los alumnos, es entonces de prever que  estos  últimos países  --los  que  no  participan  en  este  tipo  de evaluaciones internacionales--, obtendrían puntajes similares o más bajos que los observados por los países latinoamericanos;
3.       En otro orden de ideas, es prudente llamar la atención de investigadores y planificadores de la educación sobre la verdadera importancia de los resultados de estos estudios: no solo deben servir para ubicar la posición relativa de nuestros países respecto a los demás, ya que mediante    la    instrumentación    de    procedimientos    estadísticos relativamente simples –ya mencionados--, con cierto margen de precisión, se   puede   prever   dicha   ubicación,   con   lo   que   resultaría   entonces sumamente oneroso para el país hacer las inversiones que estudios como este exigen para su realización (aproximadamente 1,000,000 de dólares por ejercicio); y,
4.       Como resultado de aquello, resulta de vital interés que ante lo predecible de los resultados generales de este tipo de estudios, se ponga especial atención a la profundización y democratización de los hallazgos explicativos de dichos resultados, con objeto de instrumentar estrategias que permitan revertir los mismos. De esta manera se evitará queden circunscritos únicamente a los rankings o para el conocimiento y/o para el uso casi exclusivo de las cúpulas responsables de la investigación educativas, instancias que lamentablemente poco o nada inciden en el quehacer educativo cotidiano. Se debe buscar permear la estructura operativa del sistema educativo, llegando hasta maestros y directivos escolares, niveles en quienes radica la verdadera capacidad de transformar los actuales estándares de la calidad de la educación; y, de ser posible, también a padres de familia, alumnos y la comunidad en general, para que todos los estamentos sociales conozcan lo que está sucediendo, sus explicaciones y como obrar en consecuencia.
 
Dicho lo anterior, quisiera expresar algunas breves reflexiones sobre la diferencia entre lo esperable y lo esperado que titulan este artículo, mismas que parecen estar detrás de las declaraciones de nuestros políticos responsables de la educación. “Esperable” es aquello que a partir de las condiciones y características de un fenómeno dado, se puede prever del mismo; en cambio lo esperado, más bien es aquello que el observador desearía que sucediera, basado no necesariamente en evidencia alguna, sino más bien en sus propias expectativas o sentimientos. Lo primero es algo que deriva de evidencias científicas o empíricas concretas, mientras que lo segundo, es un sentimiento que depende de la óptica entendida o no de quien observa el fenómeno. En el primer caso se plantea una tendencia y en el segundo un deseo. El primero tiene altas probabilidades de suceder, en tanto en el segundo caso nada garantiza que suceda. El primero es relativamente complicado y riguroso determinarlo, pero encierra menor riesgo de fallar; el segundo, es comparativamente fácil de establecer, pero implica un alto riesgo de no suceder en los hechos. 
 
Ahora bien, volviendo al análisis de las evidencias duras, partamos entonces del resultado “bruto” de los resultados de PISA 2012 recientemente publicados y presentado en el siguiente gráfico, donde los países de la OCDE están representados en azul, el promedio de la OCDE en negro y los países invitados en verde, (los tonos más oscuros de ambos colores corresponden a los países latinoamericanos), indicando los puntajes promedio solo para los países latinoamericanos y otros no latinoamericanos que se consideran emblemáticos para un análisis contextualizado que se hará más adelante:
Gráfico 1. Resultados de Matemática en PISA 2012.[11]




En el gráfico anterior, se evidencia visualmente la predicción hecha en 1998, los países latinoamericanos –sean parte o no de la OCDE- ocupan el último cuarto de la distribución, con los puntajes promedio más bajos; Chile a la cabeza de ellos con 423 puntos, seguido inmediatamente por México 10 puntos más abajo, los demás posteriormente, para finalmente encontrar a Perú en el último lugar  de todo el ejercicio con 368 puntos.

Igualmente, se destaca en el gráfico algunos otros casos que por sus características es bueno subrayar. Shangai-China con el puntaje promedio más alto (613), seguido de Singapur con 573, Finlandia con 519, Viet nam con 511, Noruega con 489, los Estado Unidos de América con 481, Israel 466 y Qatar –último lugar no latinoamericano- con 376.   

A partir de la información anterior conviene volver al tema de lo esperable y lo esperado. Lo esperable del comportamiento de la calidad educativa de México y por extensión de los países latinoamericanos en ejercicios similares a PISA ahora y en los subsiguientes años, será siempre en el último cuarto de la distribución –en el grupo de los últimos lugares-, si y solo si, se continua la misma mezcla de tipo de países que participan en estos ejercicios, y concomitante con lo anterior, no cambian las demás variables del desarrollo social de nuestros países.

Ahora bien, dado lo previsible de estos resultados y lo contundente de esta predicción -como ya se vio en el “cuadro 2” y en el “gráfico 1”-, es conveniente ahondar un poco más en dichos resultados a los efectos de aislar de ellos las demás condiciones sociales de contexto que afectan a nuestra educación, que no necesariamente son del resorte de los sistemas educativos, pero que si son determinantes en los rendimientos observados por este tipo de investigaciones como PISA, para poder tener una mejor perspectiva de nuestros sistemas educativos en forma más objetiva. Para ello repetiré un ejercicio de contextualización que ya he publicado en otros textos de mi autoría[12], pero ahora actualizado en función de los datos de PISA 2012[13] y del Índice de Desarrollo Humano IDH que elabora la Organización de las Naciones Unidas para 2013[14], en el cual se determina la línea de regresión o predicción de puntajes de PISA en función del IDH y la distancia que cada país se aleja positiva o negativamente de dicha predicción (Residuos). Destacando en el gráfico siguiente (2) los mismos países que en el anterior, para mejor seguimiento de lo que se quiere ejemplificar.


De la anterior regresión, se observa en general que:

1.       Existe una correlación destacable entre ambas variables (0.4896), lo cual justifica su utilización para efectos de contextualización de los resultados de PISA.

2.       Ser país con un alto o un bajo IDH no es condición sine cuan non para estar por encima o por debajo de los puntajes esperables (línea de regresión o predicción).

3.       Igualmente, tampoco el pertenecer o no a la OCDE es condición de estar por encima o por debajo de los puntajes esperables (línea de regresión o predicción).

4.       Todos los países del Asia Oriental que participan en el estudio, sin importar si pertenecen o no a la OCDE, observan puntajes por encima de lo esperable (línea de regresión o predicción).

5.       Por el contrario, todos los países latinoamericanos incluidos en el estudio están por debajo de lo esperable (línea de regresión o predicción), dicho de otra forma, los puntajes promedio de PISA de todos los países de la región, sin excepción, están por debajo de lo esperable en función de su IDH.

 

De lo anterior deriva un nuevo ordenamiento de los países en función de la distancia que guardan entre los resultados promedio realmente obtenidos en PISA y lo esperable (línea de regresión o predicción), distancia que he dado en llamar Índice de Esfuerzo Escolar (IEE) en distintas publicaciones, detalle presentado en el siguiente cuadro:

Del cuadro 3 se pueden obtener algunas pistas interesantes para comprender a mayor cabalidad el fenómeno de la calidad educativa, más allá de los factores de contexto que le condicionan.

1.       El país con el mejor rendimiento o IEE es con mucho Viet nam, país que está por encima de su puntaje esperable en función de su IDH, 142.08 puntos. Vietnam pasa del lugar 14 con los puntajes brutos sin contextualiza (originales), al primero en función del IEE.

2.       En el extremo contrario, igualmente hay cambios en quien es el país con el peor comportamiento, donde  Qatar pasa a ser el último por IEE, con una distancia en relación a lo esperable según su IDH, de -92.82, Argentina el penúltimo con -70.23 y Perú que era el último general, ahora es el antepenúltimo con -58.03 puntos.

3.       En el plano no latinoamericano conviene llamar la atención hacia el caso finlandés, en virtud de la connotación que se le atribuyó en el pasado reciente como el mejor sistema educativo a partir de los resultados de PISA 2009, pero que para este ejercicio pasó al 9º lugar y si se considera a partir del IEE, baja aún más, quedando finalmente en el 15.

4.       México, para PISA 2012 si bien asciende dos lugares -del 50 original al 48- por IEE, de todas formas tiene un comportamiento deficitario en función de su IDH, al obtener 28.67 puntos por debajo de lo esperable. Lo cual si bien lo pone a la cabeza de los países latinoamericanos y por encima de países de la OCDE como los Estados Unidos, Israel y Noruega, si se considera que en el ejercicio anterior correspondiente a 2009[15] donde sus resultados fueron tan solo de 9.03 puntos por debajo de lo esperable, supone un deterioro sustantivo en el periodo.

5.       Así mismo, esta situación es aún más alarmante si se considera el puesto que México ocupó en 2009 a partir del IEE, el 39 y el que ocupa en esta nueva versión de PISA 2012, el lugar 50, con casi igual número de países participantes (65), de los cuales el 90% son los mismos, claro indicio de una baja sustantiva de los rendimientos observados por el país en los últimos años.

 

En conclusión y sin pretender pontificar en este tema, la evidencia aportada por una lectura rápida de los resultados de PISA 2012, más allá de las sesudas interpretaciones que los “gurús” de la educación seguramente nos darán en el futuro próximo, nos indica que la diferencia entre lo esperable y lo logrado cada día se hace más profunda, que los resultados de PISA 2012 aunque parciales, homogeneizadores y limitados, dan cuenta de una situación verdaderamente complicada para el país, como también para la región. Es evidente que el mundo avanza, que los países evolucionan, pero que México y Latinoamérica no lo hace al mismo ritmo y en sentido positivo; no tan solo eso, sino que la situación educativa más allá del contexto de inequidad y pobreza que nos caracteriza, se agrava, mengua y apunta al precipicio.

 Queda entonces el reto de revertir este comportamiento a las actuales autoridades -en México  específicamente-, a quienes la Ley Orgánica de la Administración Pública y la Ley General de Educación les asigna dicha responsabilidad: al Ejecutivo Federal, la Secretaría de Educación Púbica y sus homólogas estatales; más aún cuando los obstáculos estructurales que en el pasado reciente se esgrimían como los causantes de la “mala” situación educativa nacional han sido removidos, la Reforma Educativa ha sido aprobada constitucionalmente y se han publicado las leyes secundarias que le reglamentan. Corresponde a ellos la responsabilidad de coordinar el esfuerzo nacional, convocar a la sociedad en su conjunto e instrumentar las políticas y estrategias necesarias para mejorar estos resultados y su tendencia negativa.

Así mismo, surgen algunas preguntas a resolver ¿es la educación un fenómeno aislado o es un fenómeno estructural? ¿Solo la aprobación de la llamada Reforma Educativa y sus leyes secundarias detendrá el deterioro educativo? ¿Es esperable que estos resultados cambien si no se acompaña la Reforma Educativa por cambios en las demás variables del desarrollo social? ¿Si no se dan cambios en las demás variables del desarrollo y los resultados educativos continúan su caída, cuáles serán entonces los argumentos para explicarle?

Por último, es necesario que las máximas autoridades responsables de la educación mexicana y sus homólogas latinoamericanas se olviden del subjetivo “esperado”, y al menos logren lo esperable, so pena de que no lograrlo, la brecha que nos separa del desarrollo se nos hará cada día más inalcanzable, condenando a las nuevas generaciones a la mediocridad y el rezago social.   


Bibliografía.

                    Casassus, Juan. “La Escuela y la (des)igualdad”. LOM Ediciones, primera edición 2003. Concha y Toro 23, Santiago de Chile.

                    J. Casassus, J.E. Froemel, S. Cusato y J. C. Palafox. UNESCO. Primer Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados en Tercero y Cuatro Grado En coautoría con: UNESCO-OREALC.

                    IEA. Third International Mathematics and Science Study (TIMSS) 1995,

                    Ina V.S. Mullis, Michael O. Martin, Pierre Foy, and Alka Arora International Results in Mathematics.TIMSS 2011

                    Ina V.S. Mullis, Michael O. Martin, Pierre Foy, and Kathleen T. Drucker International Results in Reading PIRLS 2011.

                    OCDE-PISA2009  http://www.oecd.org/pisa/46643496.pdf  

                    Palafox, Juan Carlos., “Los extremos de un sub-continente. La educación mexicana y chilena, un ejercicio de análisis comparado y un primer acercamiento a una Línea de Base.” Revista de Educación y Cultura AZ. Núm. 67, pp 6 a 29 http://www.educacionyculturaaz.com/articulos-az/los-extremos-de-un-sub-continente-la-educacion-mexicana-y-la-chilena-un-ejercicio-de-analisis-comparado-y-un-primer-acercamiento-a-una-linea-de-base/ Mar. de 2013.

                    Palafox, Juan Carlos., Prawda Juan y Vélez Eduardo. Primary School Quality in Mexico,

o        Banco Mundial en su serie A Views from LATHR, núm. 33. Edición en inglés, noviembre de 1992.

o        y University Chicago Press, en Comparative Education Review, vol. 38, núm. 2. pp. 167- 180, Edición en inglés, mayo de 1994.  http://www.jstor.org/pss/1189030  

                    PISA 2012 Results in Focus. What 15-year-olds know and what they can do with what they know. http://www.oecd.org/pisa/keyfindings/pisa-2012-results-overview.pdf




[1] El autor de este texto, trabajó en la Secretaría de Educación Pública de México de 1972 a 1995 y en temas educativos para diversos organismos multilaterales desde 1992 a 2012, tales como el Banco Mundial, el Banco Interamericano de Desarrollo, la Organización de la Naciones Unidas para la Educación la Ciencia y la Cultura, la UNESCO, la OEI y el PREAL, como también para los Ministerios de Educación y Cultura de Argentina, Bolivia, Chile, Ecuador, El Salvador, México y Uruguay. jcpps@hotmail.com  y http://jcpps.blogspot.com/
[2] Organización para la Cooperación y el Desarrollo Económico. Entidad que realiza el estudio denominado Programa Internacional para la Evaluación de Estudiantes, PISA.
[3] International Association for the Evaluation of Educational Achievement, IEA. Entidad que realiza el estudio denominado Third International Mathematics and Science Study TIMSS.
[4] La Organización para la Educación la Ciencia y la Cultura. Entidad que realiza el estudio denominado Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, LLECE, UNESCO.
[5] Third International Mathematics and Science Study (TIMSS) 1995, IEA.
[6] Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) 1997. UNESCO.
[7] “Análisis comparativo de los resultados de TIMSS y LLECE, en base a la extrapolación de escalas en unidades  de  desviación  estándar” elaborado por Palafox, J. C., documento  de  trabajo,  UNESCO,  Santiago,  Chile  (1998).  Citado  por  Juan Casassus en su libro titulado La Escuela y la (des)igualdad, LOM Ediciones, 1a edición 2003, Concha y Toro 23, Santiago de Chile.
[8] Aun cuando México también participó en este estudio, lamentablemente antes de publicarse los resultados finales del estudio el Secretario de Educación Pública de la época, decide sin argumentos documentados sólidos ni plausibles, retirar los datos del país aduciendo falta de confiabilidad y validez técnica en su proceso. Único país que incurre en esta decisión en toda la historia de los estudios internacionales. Publicando años después un análisis parcial de estos datos,  que  omite  igualmente  la  comparación  internacional  rigurosa:  “Resultados  de  México  en  1995  y  2000”:
[9] Fuentes:
- Third International Mathematics and Science Study (TIMSS) 1995, IEA.
- Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) 1997. UNESCO.
[10] Fuentes: Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, LLECE, UNESCO. Programa Internacional para la Evaluación de Estudiantes, PISA. OCDE. International Association for the Evaluation of Educational Achievement, IEA.
[12] Por ejemplo: “Los extremos de un sub-continente. La educación mexicana y chilena, un ejercicio de análisis comparado y un primer acercamiento a una Línea de Base.” Revista de Educación y Cultura AZ. Núm. 67, pp 6 a 29 http://www.educacionyculturaaz.com/articulos-az/los-extremos-de-un-sub-continente-la-educacion-mexicana-y-la-chilena-un-ejercicio-de-analisis-comparado-y-un-primer-acercamiento-a-una-linea-de-base/ Mar. de 2013.