http://www.educacionyculturaaz.com/078/
Páginas 16 a 25
*************************************************************
Versión original
*************************************************************
Los resultados de PISA2012,
entre lo esperado y lo esperable.
Autor: Juan Carlos Palafox
Pérez de Salazar[1]
Durante el mes de diciembre pasado se
dieron a la luz los resultados de la evaluación internacional del rendimiento
educativo denominada PISA, quizá el ejercicio evaluativo más conocido y de
mayor cobertura que se realiza en el mundo y que cada tres años vuelve a poner
en el centro del debate nacional e internacional uno de los temas más
redundantes y a la vez más poco efectivos de la política educativa de los
últimas tres décadas, el tema de la evaluación educativa. Ocasión en que nuevamente
los dos únicos países de Latinoamérica que forman parte de la OCDE[2]
–la entidad que realiza este estudio-, ocupan los dos últimos lugares de los
países que forman parte de ella -México el último en específico-, y con ello,
no se dejaron esperar las expresiones de nuestras más altas autoridades
indicando que los resultados de México no eran “los esperados”, motivo por el cual me parece oportuno reflexionar
un poco sobre los mismos y lo que se debe entender sobre lo esperado y sobre lo
esperable.
En las últimas tres décadas hemos asistido
a la aparición de evaluaciones realizadas por la IEA[3],
la OCDE, la UNESCO[4],
etc.; en México como en casi todos los países de la región igualmente hemos
visto un boom de este tipo de
ejercicios promovidos inicialmente a partir de los empréstitos del Banco
Mundial o del Banco Interamericano de Desarrollo en la década de los 90’s, pero
lamentablemente, no existe evidencia empírica que pueda relacionar unívocamente
dichas iniciativas evaluativas con mejora alguna en los niveles educativos de
país alguno, lo cual pone en tela de juicio su verdadera validez como apoyo a
la educación.
Es más, ejercicios simples de estimación aritmética
de los resultados posibles de México y los países de la región a partir de los
resultados obtenidos en los
primeros esfuerzos de
evaluación educativa internacionales (1998), ya hacían prever que ésta por sí misma, no
traería avances importantes respecto a la mejora educativa.
Prueba de lo anterior, fue la interpolación y
posterior extrapolación de los resultados de TIMSS 1995[5]
combinados con los del LLECE de 1997[6],
calculadas por el autor de este artículo en 1998 para un documento interno de
UNESCO[7],
que a continuación se presentan en una sola escala, la cual se construyó a
partir de la transformación de las escalas originales en la disciplina de
matemática a unidades de Desviación Estándar, utilizando la
posición relativa de
Colombia en la
nueva escala (único
país latinoamericano que participó en los dos estudios y publicó sus
resultados [8])
para integrar las dos evaluaciones, obteniendo el siguiente cuadro:
[9].
En términos generales, en el cuadro anterior se puede observar que:
1.
Fue
posible visualizar la probable ubicación de los distintos países
latinoamericanos que no participaron en el estudio del TIMSS en 1995, a partir
de los resultados obtenidos por Colombia en ambos estudios;
2.
La
gran diferencia observada por Cuba en el estudio del LLECE con relación al
resto de los países latinoamericanos, ubicaría a este país en el contexto del
estudio del TIMSS dentro de los 10 mejores (en un cuarto lugar);
3.
El
resto de los países latinoamericanos, en esta nueva escala, conformarían junto
con la República Islámica de Irán, Kuwait y Sudáfrica, el grupo de más bajo
rendimiento educativo;
4.
Partiendo
de esta interpolación, a México, aun cuando ocultó sus resultados en el estudio
de TIMSS-95, se le pudo ubicar por encima solo del antepenúltimo lugar de dicho
estudio (lugar 38 de 42); y,
5.
Esta
interpolación, elaborada en 1998, constituyó un pronóstico sobre los posibles
resultados futuros de los países latinoamericanos en posteriores estudios de
carácter internacional, pronóstico que se ha confirmado invariablemente en
todos los estudios realizados hasta la fecha.
Como apoyo a lo mencionado en el último párrafo,
en el siguiente cuadro se sintetizan los resultados de los estudios
internacionales más importantes realizados hasta día de hoy.
Considerando lo anterior, conviene insistir en hacer
algunas precisiones que ya he hecho en algunos otros textos, mismas que de no
hacerse, pudieran generar conclusiones sobre o sub dimensionadas.
1.
En
primer término es necesario acotar el ámbito de estas investigaciones en su
real representatividad; para ello, tomaremos como ejemplo el caso de PISA 2012 -el
último y de gran cobertura internacional-. Se puede observar que solo
participan 65 países, mientras en el
mundo existen alrededor de 220; ello indica que cerca del 70% de países del
mundo no participan en estos estudios, hecho que pone en tela de juicio
aseveraciones tales como: “La calidad educativa de los países latinoamericanos
o México, ocupan los últimos lugares --del mundo--”, tan presentes en los
encendidos discursos de los artificiosos críticos educativos tan comunes en los
medios masivos de comunicación;
2.
Continuando
con el mismo ejemplo, el perfil de los países que sí participan en PISA es en
su mayoría de alto o medio desarrollo humano, conforme al índice generado por
las Naciones Unidas a este respecto; mientras la mayor parte de los países que
no participan, son de desarrollo humano medio o bajo. Lo anterior, si
consideramos que un porcentaje importante de las variaciones de los puntajes
del rendimiento educativo está fuertemente asociado al nivel socioeconómico de
los alumnos, es entonces de prever que
estos últimos países --los
que no participan
en este tipo
de evaluaciones internacionales--, obtendrían puntajes similares o más
bajos que los observados por los países latinoamericanos;
3.
En
otro orden de ideas, es prudente llamar la atención de investigadores y
planificadores de la educación sobre la verdadera importancia de los resultados
de estos estudios: no solo deben servir para ubicar la posición relativa de
nuestros países respecto a los demás, ya que mediante la
instrumentación de procedimientos estadísticos relativamente simples –ya
mencionados--, con cierto margen de precisión, se puede
prever dicha ubicación,
con lo que
resultaría entonces sumamente
oneroso para el país hacer las inversiones que estudios como este exigen para
su realización (aproximadamente 1,000,000 de dólares por ejercicio); y,
4.
Como
resultado de aquello, resulta de vital interés que ante lo predecible de los
resultados generales de este tipo de estudios, se ponga especial atención a la
profundización y democratización de los hallazgos explicativos de dichos
resultados, con objeto de instrumentar estrategias que permitan revertir los
mismos. De esta manera se evitará queden circunscritos únicamente a los rankings o para el conocimiento y/o para
el uso casi exclusivo de las cúpulas responsables de la investigación
educativas, instancias que lamentablemente poco o nada inciden en el quehacer
educativo cotidiano. Se debe buscar permear la estructura operativa del sistema
educativo, llegando hasta maestros y directivos escolares, niveles en quienes
radica la verdadera capacidad de transformar los actuales estándares de la
calidad de la educación; y, de ser posible, también a padres de familia,
alumnos y la comunidad en general, para que todos los estamentos sociales
conozcan lo que está sucediendo, sus explicaciones y como obrar en
consecuencia.
Dicho lo anterior, quisiera expresar algunas
breves reflexiones sobre la diferencia entre lo esperable y lo esperado que
titulan este artículo, mismas que parecen estar detrás de las declaraciones de
nuestros políticos responsables de la educación. “Esperable” es aquello que a
partir de las condiciones y características de un fenómeno dado, se puede
prever del mismo; en cambio lo esperado, más bien es aquello que el observador
desearía que sucediera, basado no necesariamente en evidencia alguna, sino más
bien en sus propias expectativas o sentimientos. Lo primero es algo que deriva
de evidencias científicas o empíricas concretas, mientras que lo segundo, es un
sentimiento que depende de la óptica entendida o no de quien observa el
fenómeno. En el primer caso se plantea una tendencia y en el segundo un deseo.
El primero tiene altas probabilidades de suceder, en tanto en el segundo caso nada
garantiza que suceda. El primero es relativamente complicado y riguroso
determinarlo, pero encierra menor riesgo de fallar; el segundo, es
comparativamente fácil de establecer, pero implica un alto riesgo de no suceder
en los hechos.
Ahora bien, volviendo al análisis de las
evidencias duras, partamos entonces del resultado “bruto” de los resultados de
PISA 2012 recientemente publicados y presentado en el siguiente gráfico, donde
los países de la OCDE están representados en azul, el promedio de la OCDE en
negro y los países invitados en verde, (los tonos más oscuros de ambos colores
corresponden a los países latinoamericanos), indicando los puntajes promedio
solo para los países latinoamericanos y otros no latinoamericanos que se
consideran emblemáticos para un análisis contextualizado que se hará más
adelante:
Gráfico 1. Resultados de Matemática en
PISA 2012.[11]
En el gráfico anterior, se evidencia
visualmente la predicción hecha en 1998, los países latinoamericanos –sean
parte o no de la OCDE- ocupan el último cuarto de la distribución, con los
puntajes promedio más bajos; Chile a la cabeza de ellos con 423 puntos, seguido
inmediatamente por México 10 puntos más abajo, los demás posteriormente, para
finalmente encontrar a Perú en el último lugar
de todo el ejercicio con 368 puntos.
Igualmente, se destaca en el gráfico
algunos otros casos que por sus características es bueno subrayar.
Shangai-China con el puntaje promedio más alto (613), seguido de Singapur con
573, Finlandia con 519, Viet nam con 511, Noruega con 489, los Estado Unidos de
América con 481, Israel 466 y Qatar –último lugar no latinoamericano- con 376.
A partir de la información anterior
conviene volver al tema de lo esperable y lo esperado. Lo esperable del
comportamiento de la calidad educativa de México y por extensión de los países
latinoamericanos en ejercicios similares a PISA ahora y en los subsiguientes
años, será siempre en el último cuarto de la distribución –en el grupo de los
últimos lugares-, si y solo si, se continua la misma mezcla de tipo de países
que participan en estos ejercicios, y concomitante con lo anterior, no cambian
las demás variables del desarrollo social de nuestros países.
Ahora bien, dado lo previsible de estos
resultados y lo contundente de esta predicción -como ya se vio en el “cuadro 2”
y en el “gráfico 1”-, es conveniente ahondar un poco más en dichos resultados a
los efectos de aislar de ellos las demás condiciones sociales de contexto que
afectan a nuestra educación, que no necesariamente son del resorte de los
sistemas educativos, pero que si son determinantes en los rendimientos
observados por este tipo de investigaciones como PISA, para poder tener una
mejor perspectiva de nuestros sistemas educativos en forma más objetiva. Para ello
repetiré un ejercicio de contextualización que ya he publicado en otros textos
de mi autoría[12],
pero ahora actualizado en función de los datos de PISA 2012[13] y
del Índice de Desarrollo Humano IDH que elabora la Organización de las Naciones
Unidas para 2013[14],
en el cual se determina la línea de regresión o predicción de puntajes de PISA
en función del IDH y la distancia que cada país se aleja positiva o negativamente
de dicha predicción (Residuos). Destacando en el gráfico siguiente (2) los
mismos países que en el anterior, para mejor seguimiento de lo que se quiere
ejemplificar.
De la anterior regresión, se observa en
general que:
1.
Existe
una correlación destacable entre ambas variables (0.4896), lo cual justifica su
utilización para efectos de contextualización de los resultados de PISA.
2.
Ser
país con un alto o un bajo IDH no es condición sine cuan non para estar por encima o por debajo de los puntajes
esperables (línea de regresión o predicción).
3.
Igualmente,
tampoco el pertenecer o no a la OCDE es condición de estar por encima o por
debajo de los puntajes esperables (línea de regresión o predicción).
4.
Todos
los países del Asia Oriental que participan en el estudio, sin importar si
pertenecen o no a la OCDE, observan puntajes por encima de lo esperable (línea
de regresión o predicción).
5.
Por
el contrario, todos los países latinoamericanos incluidos en el estudio están
por debajo de lo esperable (línea de regresión o predicción), dicho de otra forma, los puntajes promedio de PISA de todos los países
de la región, sin excepción, están por debajo de lo esperable en función de su
IDH.
De lo anterior
deriva un nuevo ordenamiento de los países en función de la distancia que
guardan entre los resultados promedio realmente obtenidos en PISA y lo
esperable (línea de regresión o predicción), distancia que he dado en llamar Índice
de Esfuerzo Escolar (IEE) en distintas publicaciones, detalle presentado en el
siguiente cuadro:
Del cuadro 3 se pueden obtener algunas pistas interesantes para comprender a mayor cabalidad el fenómeno de la calidad educativa, más allá de los factores de contexto que le condicionan.
1.
El
país con el mejor rendimiento o IEE es con mucho Viet nam, país que está por
encima de su puntaje esperable en función de su IDH, 142.08 puntos. Vietnam
pasa del lugar 14 con los puntajes brutos sin contextualiza (originales), al
primero en función del IEE.
2.
En el
extremo contrario, igualmente hay cambios en quien es el país con el peor
comportamiento, donde Qatar pasa a ser
el último por IEE, con una distancia en relación a lo esperable según su IDH,
de -92.82, Argentina el penúltimo con -70.23 y Perú que era el último general,
ahora es el antepenúltimo con -58.03 puntos.
3.
En el
plano no latinoamericano conviene llamar la atención hacia el caso finlandés,
en virtud de la connotación que se le atribuyó en el pasado reciente como el
mejor sistema educativo a partir de los resultados de PISA 2009, pero que para
este ejercicio pasó al 9º lugar y si se considera a partir del IEE, baja aún
más, quedando finalmente en el 15.
4.
México,
para PISA 2012 si bien asciende dos lugares -del 50 original al 48- por IEE, de
todas formas tiene un comportamiento deficitario en función de su IDH, al
obtener 28.67 puntos por debajo de lo esperable. Lo cual si bien lo pone a la
cabeza de los países latinoamericanos y por encima de países de la OCDE como
los Estados Unidos, Israel y Noruega, si se considera que en el ejercicio
anterior correspondiente a 2009[15]
donde sus resultados fueron tan solo de 9.03 puntos por debajo de lo esperable,
supone un deterioro sustantivo en el periodo.
5.
Así
mismo, esta situación es aún más alarmante si se considera el puesto que México
ocupó en 2009 a partir del IEE, el 39 y el que ocupa en esta nueva versión de
PISA 2012, el lugar 50, con casi igual número de países participantes (65), de
los cuales el 90% son los mismos, claro indicio de una baja sustantiva de los
rendimientos observados por el país en los últimos años.
En conclusión y sin pretender pontificar en este
tema, la evidencia aportada por una lectura rápida de los resultados de PISA
2012, más allá de las sesudas interpretaciones que los “gurús” de la educación
seguramente nos darán en el futuro próximo, nos indica que la diferencia entre
lo esperable y lo logrado cada día se hace más profunda, que los resultados de
PISA 2012 aunque parciales, homogeneizadores y limitados, dan cuenta de una
situación verdaderamente complicada para el país, como también para la región.
Es evidente que el mundo avanza, que los países evolucionan, pero que México y
Latinoamérica no lo hace al mismo ritmo y en sentido positivo; no tan solo eso,
sino que la situación educativa más allá del contexto de inequidad y pobreza
que nos caracteriza, se agrava, mengua y apunta al precipicio.
Así mismo, surgen algunas preguntas a resolver ¿es
la educación un fenómeno aislado o es un fenómeno estructural? ¿Solo la
aprobación de la llamada Reforma Educativa y sus leyes secundarias detendrá el
deterioro educativo? ¿Es esperable que estos resultados cambien si no se
acompaña la Reforma Educativa por cambios en las demás variables del desarrollo
social? ¿Si no se dan cambios en las demás variables del desarrollo y los
resultados educativos continúan su caída, cuáles serán entonces los argumentos
para explicarle?
Por último, es necesario que las máximas
autoridades responsables de la educación mexicana y sus homólogas
latinoamericanas se olviden del subjetivo “esperado”, y al menos logren lo
esperable, so pena de que no lograrlo, la brecha que nos separa del desarrollo
se nos hará cada día más inalcanzable, condenando a las nuevas generaciones a
la mediocridad y el rezago social.
Bibliografía.
•
Casassus,
Juan. “La Escuela y la (des)igualdad”. LOM Ediciones, primera edición 2003.
Concha y Toro 23, Santiago de Chile.
•
J.
Casassus, J.E. Froemel, S. Cusato y J. C. Palafox. UNESCO. Primer Estudio
Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados en
Tercero y Cuatro Grado En coautoría con: UNESCO-OREALC.
•
IEA. Third International
Mathematics and Science Study (TIMSS) 1995,
•
Ina V.S. Mullis, Michael O.
Martin, Pierre Foy, and Alka Arora International Results in Mathematics.TIMSS
2011
•
Ina V.S. Mullis, Michael O.
Martin, Pierre Foy, and Kathleen T. Drucker International Results in Reading
PIRLS 2011.
•
OCDE-PISA2009 http://www.oecd.org/pisa/46643496.pdf
•
Palafox,
Juan Carlos., “Los extremos de un sub-continente. La
educación mexicana y chilena, un ejercicio de análisis comparado y un primer
acercamiento a una Línea de Base.” Revista de Educación y Cultura AZ. Núm. 67, pp 6 a 29 http://www.educacionyculturaaz.com/articulos-az/los-extremos-de-un-sub-continente-la-educacion-mexicana-y-la-chilena-un-ejercicio-de-analisis-comparado-y-un-primer-acercamiento-a-una-linea-de-base/ Mar. de 2013.
•
Palafox,
Juan Carlos., Prawda Juan y Vélez Eduardo. Primary
School Quality in Mexico,
o
Banco
Mundial en su serie A Views from LATHR, núm. 33. Edición en inglés, noviembre
de 1992.
o
y
University Chicago Press, en Comparative Education Review, vol. 38, núm. 2. pp.
167- 180, Edición en inglés, mayo de 1994.
http://www.jstor.org/pss/1189030
•
PISA 2012 Results in Focus.
What 15-year-olds know and what they can do with what they know. http://www.oecd.org/pisa/keyfindings/pisa-2012-results-overview.pdf
[1] El autor de este texto,
trabajó en la Secretaría de Educación Pública de México de 1972 a 1995 y en
temas educativos para diversos organismos multilaterales desde 1992 a 2012,
tales como el Banco Mundial, el Banco Interamericano de Desarrollo, la Organización
de la Naciones Unidas para la Educación la Ciencia y la Cultura, la UNESCO, la
OEI y el PREAL, como también para los Ministerios de Educación y Cultura de
Argentina, Bolivia, Chile, Ecuador, El Salvador, México y Uruguay. jcpps@hotmail.com y http://jcpps.blogspot.com/
[2] Organización para la
Cooperación y el Desarrollo Económico. Entidad que realiza el estudio
denominado Programa Internacional para la Evaluación de Estudiantes, PISA.
[3] International Association for the
Evaluation of Educational Achievement, IEA. Entidad que realiza el estudio
denominado Third International Mathematics and Science Study TIMSS.
[4] La Organización para la Educación
la Ciencia y la Cultura. Entidad que realiza el estudio denominado Laboratorio
Latinoamericano de Evaluación de la Calidad de la Educación, LLECE, UNESCO.
[5] Third International Mathematics and Science
Study (TIMSS) 1995, IEA.
[6] Laboratorio
Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) 1997.
UNESCO.
[7] “Análisis comparativo de
los resultados de TIMSS y LLECE, en base a la extrapolación de escalas en
unidades de desviación
estándar” elaborado por Palafox, J. C., documento de
trabajo, UNESCO, Santiago,
Chile (1998). Citado
por Juan Casassus en su libro
titulado La Escuela y la (des)igualdad, LOM Ediciones, 1a edición 2003, Concha
y Toro 23, Santiago de Chile.
[8] Aun cuando México también
participó en este estudio, lamentablemente antes de publicarse los resultados
finales del estudio el Secretario de Educación Pública de la época, decide sin
argumentos documentados sólidos ni plausibles, retirar los datos del país
aduciendo falta de confiabilidad y validez técnica en su proceso. Único país
que incurre en esta decisión en toda la historia de los estudios
internacionales. Publicando años después un análisis parcial de estos
datos, que omite
igualmente la comparación
internacional rigurosa: “Resultados
de México en
1995 y 2000”:
[9] Fuentes:
- Third International Mathematics and
Science Study (TIMSS) 1995, IEA.
- Laboratorio
Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) 1997.
UNESCO.
[10] Fuentes: Laboratorio
Latinoamericano de Evaluación de la Calidad de la Educación, LLECE, UNESCO.
Programa Internacional para la Evaluación de Estudiantes, PISA. OCDE.
International Association for the Evaluation of Educational Achievement, IEA.
[12] Por ejemplo: “Los extremos de un sub-continente. La educación mexicana
y chilena, un ejercicio de análisis comparado y un primer acercamiento a una
Línea de Base.” Revista de
Educación y Cultura AZ. Núm. 67, pp 6 a 29 http://www.educacionyculturaaz.com/articulos-az/los-extremos-de-un-sub-continente-la-educacion-mexicana-y-la-chilena-un-ejercicio-de-analisis-comparado-y-un-primer-acercamiento-a-una-linea-de-base/ Mar. de 2013.
[15] Revista de Educación y Cultura AZ, Marzo de 2013. Núm. 67, pp 6 a 29 http://www.educacionyculturaaz.com/wp-content/uploads/2013/02/Captura-de-pantalla-2013-02-26-a-las-13.10.45.png