Páginas vistas en total

jueves, 3 de agosto de 2017

PISA , otra visión acerca de sus resultados



“Si es un milagro, cualquier testimonio es suficiente,
pero si es un hecho, es necesario probarlo.”
Mark Twain.

Otra visión acerca de los resultados de PISA

Autor: Juan Carlos Palafox Pérez de Salazar*

Antecedentes.

Como ya se ha hecho costumbre en los últimos 15 años –desde 2000-, el sector educativo, y por ende la sociedad misma, se ve cuestionada educativamente por los resultados del Programa para la Evaluación Internacional de Alumnos (PISA por sus siglas en inglés[1]) realizado por la OECD[2], en términos de la calidad de la educación que se imparte en los países, lo cual puede ser una expresión sobre dimensionada, que en términos reales acotaremos más adelante.
Lo que no se puede poner en tela de juicio es el impacto mediático que dicho Programa conlleva para la opinión pública de los distintos países que participan en dicho estudio, incluyendo obviamente a México como miembro de la OECD[3], en cuyo caso invariablemente nos vemos ubicados en el último o penúltimo lugar de los países afiliados a esa Organización, junto a Chile y en compañía -entre otros-, de los demás países latinoamericanos que no pertenecen a la OECD pero que si participan en PISA, todos los cuales nos ubicamos por debajo de la Media de la distribución del total que participa, sean miembros o no de la OECD.
Por esta razón es que, quien suscribe esta líneas considera que más allá de los sesudos informes que la Organización presenta en cada ocasión, mismos que en general son solo de uso especializado y que poco trascienden en el ámbito del espacio donde efectivamente se da el hecho educativo –La Escuela-, vale la pena hacer algunas puntualizaciones relacionadas con ciertos mitos y realidades que se suscitan a partir de este Programa, solo con la intención de ubicarle en su contexto, en su dimensión temporal y de una forma más accesible.
Este breve ensayo busca aportar otro tipo de análisis de los resultados de PISA 2015 (publicados en noviembre de 2016), desde una visión retrospectiva desde sus inicios en el año 2000[4]. Comienza así, con un primer apartado que permite al lector una interpretación básica de ambos ejercicios, 2000 y 2015; posteriormente, identifica para cada uno de ellos, no tan solo los puntajes expresados en las escalas de PISA, sino también relevando aquello que de suyo es verdadera responsabilidad de los sectores educativos, más allá de otras variables de contexto que les afectan de manera importante y cuya responsabilidad no les corresponde en el momento de la evaluación.
Para lograr dicha contextualización se utilizará el Índice de Desarrollo Humano (IDH) que construye el Programa de las Naciones Unidas para el Desarrollo (PNUD)[5], indicador de larga data y reconocida validez, confiabilidad y comparabilidad internacional.
Por último, se presentará una serie de conclusiones y recomendaciones que buscan contribuir con algo a una interpretación más comprensiva de estos resultados, su comportamiento histórico y los hallazgos que pueden aportar este tipo de estudios a partir de sus datos más simples y gruesos, sin entrar en sofisticaciones de niveles de desempeño, ni cuestiones de dispersión.
Conviene mencionar, que si bien PISA reporta resultados para tres dominios diferentes (Lenguaje y comunicación, Matemática y Ciencias), en este caso solo nos referiremos a las pruebas de Matemática con el objeto de no sobresaturar este texto con demasiados datos que desvíen el foco de atención del lector de lo que en realidad se quiere trasmitir; asimismo, porque los comportamientos en general son más o menos similares para las tres disciplinas; y, en virtud de que para el autor, dicha disciplina es la más comparable entre países, ya que es la que menos se ve influenciada por sesgos culturales o sociales.
Es importante mencionar que el presente texto, no pretende ser un tratado de interpretación profunda de los resultados de PISA, sino de ofrecer, a partir de datos básicos, una mirada más comprensiva de dichos resultados y de su comportamiento histórico tal cual aparecen en sus publicaciones de origen, más allá de análisis más rigurosos, precisos y exactos.
Por último, los países que se presentan a lo largo de todo el texto no necesariamente son todos los que participan, sino que para el año 2000 se consideran los reportados en su Informe Preliminar[6], en otros puntos del documento se eliminan algunos en virtud de la comparación que se hace entre 2000 y 2015, así como, en otros casos solo se consideran los que pueden relacionarse con el Índice de Desarrollo Humano de las Naciones Unidas, que no necesariamente existe para todos los que participan en PISA.
Así entonces, empezaremos por presentar a continuación, los resultados generales de Matemática en PISA 2000, utilizando la escala general de dicho programa, donde la media inicial es aproximadamente de 500 puntos y la desviación estándar de 100 puntos, por lo que los gráficos no parten del “0” sino que se muestran a partir de las decenas más próximas al valor inferior y al más alto, para no saturar dichos gráficos.


Gráfico 1. Ordenamiento inicial de los países según los resultados de PISA 2000 en Matemática[7].
En una primera lectura de los resultados presentados en el gráfico anterior, se puede sacar algunas primeras luces que conviene resaltar:
  1. El total de países participantes en esta primera evaluación de PISA 2000, es de 31 países, dentro de los más de 200 que existen en el planeta, por lo que en términos de países solo 15% de los existentes fue representado en este estudio.
  2. De los 31, tan solo 4 no pertenecen a la OECD y por ende es de suponer que casi todos ellos observan un Índice de Desarrollo Humano ALTO o MUY ALTO como se verá más adelante.
  3. Derivado de los dos puntos anteriores, es claro que esta evaluación de ninguna manera representa la educación del mundo y dado que de los 31 participantes 27 pertenecen a la OECD, existe entonces un sesgo notorio de sobre-representación de los países de esa Organización.
  4. Por otra parte, solo dos de los países participantes son latinoamericanos, México y Brasil, en tanto la región está compuesta por 19 países, por lo que tampoco se puede decir que estos resultados representen a la Región en términos de países, aun cuando en términos de población si representan poco más del 50%.
  5. Más allá de la representatividad de los resultados antes mencionada, es claro que México y Brasil en términos de puntaje, ocuparon las dos últimas posiciones, con lo cual se inicia la estigmatización descontextualizada de México y Brasil que algunos medios de comunicación hacen al respecto, y como se verá más delante, de toda la región.
A partir de esta evaluación, durante los siguientes 15 años recurrentemente se han dado ejercicios similares cada 3 años, donde si bien siempre se evalúan los tres dominios, Lenguaje y comunicación, Matemática y Ciencias, en cada aplicación se va rotando el énfasis en alguno de ellos. Para el año de 2015, cuyos resultados se publicaron en noviembre pasado (2016) el énfasis fue en Ciencias, pero siguiendo el mismo esquema que en 2000 consideraremos para este ensayo los resultados en la disciplina de Matemática, presentados a continuación.

 Gráfico 2. Ordenamiento inicial de los países según los resultados de PISA 2015 en Matemática[8].


Prosiguiendo con el análisis de sus agregados más simples como se hizo en el caso anterior, para PISA 2015 podemos rescatar los siguientes indicios:
  1. 15 años después, la cantidad de países pasa de 31 a 70[9], lo cual sigue siendo una minoría con relación al total de países existentes en el mundo -tan solo un 35% aproximadamente-, es claro que el Programa PISA con el pasar de los años se ha ido consolidando como el referente más importante del rendimiento educativo a nivel mundial.
  2. Ahora bien, en este último ejercicio aun cuando en menor medida, sigue persistiendo el sesgo en cuanto a la representatividad de la OECD, cuyos países representan casi el 50% del total de los participantes.
  3. Por lo que toca a la representación de los países latinoamericanos, éstos aumentan de manera significativa, pasando de solo 2 en 2000, a 9 países o áreas económicas en 2015, lo cual se acerca más al 50% de la región en términos de países.
  4. En cuanto los resultados propiamente dichos, si bien los puntajes de los países que pertenecen a la OECD siguen siendo los que observan los puntajes más altos, esto no es así en el extremo superior de la escala, donde de los 5 primeros, 4 no pertenece a la Organización, lo que pudiera ser indicativo de que pertenecer a la OECD no es condición sine cuan non para obtener los resultados más altos en este tipo de ordenamientos.
  5. Complementario a lo anterior, es de hacer notar que de las 7 entidades que obtienen los puntajes más altos, todas pertenecen al oriente, aun cuando 3 de ellas, no son países, sino economías.
  6. Por lo que toca a los países latinoamericanos, como resultado de su mayor participación, se observa qué si bien ya no son los que tienen los puntajes menores como en 2000, si obtienen puntajes por debajo de la mitad de la distribución, pertenezcan o no a la OECD.
Dejaremos hasta aquí el análisis por separado de ambos ejercicios, para proceder a explorar algunos indicios que ofrece el análisis de los resultados de 2000 y 2015 conjuntamente.
Conviene mencionar que para realizar esta comparación hay que considerar algunos criterios básicos que le dan sustento:
  1. Si bien se reconoce que un examen de papel y lápiz que se aplica cada 3 años, no es prueba suficiente para emitir un juicio de valor absoluto sobre la calidad de los sistemas educativos de los países. Por otra parte, su aplicación reiterada y la consistencia de los comportamientos observados a lo largo del tiempo, 15 años y 6 aplicaciones distintas, sí es un indicio que puede dar cuenta sobre lo que está pasando, tal cual puede ser para una persona tomarse la temperatura corporal en repetidas ocasiones y que su lectura indique en todas más de 40° o menos de 34°, razón suficiente para sospechar que algo no está bien y se hace necesario obrar en consecuencia.
  2. De igual forma, se reconoce que los logros que reflejan estas investigaciones no representan solo el resultado del quehacer y la intencionalidad de los educadores, directivos, autoridades y de los sistema educativos de los países en sí, sino que adicionalmente -tal cual indica la literatura sobre el tema-, existen factores exógenos al sistema educativo que gravitan de manera importante en dichos resultados, dentro de los que destaca el capital cultural de las familias de los sustentantes previo a la aplicación de los instrumentos de evaluación, por lo que como elemento de control de dichos factores exógenos, como ya apuntábamos al principio de este ensayo, más adelante introduciremos en la ecuación de análisis, el Índice de Desarrollo Humano (IDH) que elabora el PNUD como un elemento de probada confiabilidad, validez y comparabilidad a nivel internacional.
  3. Considerando lo dicho en el párrafo anterior, para realizar el ejercicio comparativo en ciertos análisis solo se enunciarán los países que hayan participado en ambos ejercicios (2000 y 2015), que además cuenten con el IDH para ambos años.

Análisis de resultados de PISA 2000 y 2015 en Matemática a partir de los puntajes simples 
y sin incluir otra variable.

Gráfico 3. Puntajes en Matemática de los países según los resultados de PISA 2000 y 2015[10].

Gráfico 4. Diferencias de puntajes de los resultados de PISA 2000 y 2015 en Matemática[11].

Una lectura inicial de los resultados generales de ambos ejercicios, PISA 2000 y PISA 2015 en Matemática mostrados en los dos gráficos anteriores -suponiendo que los instrumentos aplicados son equivalentes en cuanto a grado de dificultad-, nos indicaría lo siguiente:
  1. 30 de los 31 países originales de 2000 participan en 2015, lo cual pudiera interpretarse como un signo de legitimidad, lo cual no es tan así, en virtud de que todos los países que pertenecen a la OECD, por ese solo hecho, pareciera que se ven presionados a participar en PISA.
  2. Ningún país que realiza los dos ejercicios obtiene el mismo puntaje en ambos ejercicios.
  3. Las diferencias que se observan no son consistentemente mayores o menores entre 2000 y 2015, esto es, hay países que incrementan sus puntajes, como también hay otros que lo reducen.
  4. México junto con Alemania, Brasil, España, Grecia, Irlanda, Italia, Estonia, Luxemburgo, Noruega, Polonia, Portugal y Rusia (13 países) observan puntajes en 2015 superiores al año 2000, en tanto que el resto reduce sus puntajes (17 países. Australia, Austria, Bélgica, Canadá, Corea, Dinamarca, Estados Unidos, Finlandia, Francia, Hungría, Irlanda, Japón, Nueva Zelandia, Reino Unido, República Checa, Suecia y Suiza).
  5. Si partimos de la hipótesis ya mencionada, de que los instrumentos que aplica PISA son instrumentos de una alta confiabilidad, validez y cierta comparabilidad en el tiempo[12], se puede deducir que:
a.       De la comparación simple de ambos ejercicios se puede observar un primer indicio de que México, aun cuando siempre observa puntajes bajos y figura en el último lugar de los países que pertenecen a la OECD, tiene un comportamiento de mejora de +21 en la escala de PISA entre los dos ejercicios, lo cual no es menor, ya que se puede considerar como el 5° país de la OECD con el mayor incremento en el periodo.
b.      De los países que bajan sus puntajes resaltan algunos que según la prensa especializada -y no tanto[13]-, son ponderados como los mejores sistemas educativos del mundo, tales como: Corea (-22), Finlandia (-25), Irlanda (-26), Japón (-25) y Nueva Zelanda, país este último con la reducción más pronunciada de toda la comparación, -42.
c.       Ningún país en 15 años observa una variación superior a 50 puntos (aproximadamente media Desviación Estándar), ni positiva, ni negativamente.
d.      Por último, en general, se observa una reducción de las diferencias entre los países. Lo cual pudiera ser síntoma de una paulatina tendencia a la reducción de las diferencias entre los países participantes[14], dicho de otra forma, a la homogenización de los resultados[15].

Llegados a este punto, conviene hacer un señalamiento fundamental a considerarse a lo largo de lo que deviene en este texto. Hasta aquí, si el lector ha sido suspicaz, se habrá dado cuenta que nunca he empleado los términos “MEJOR” o “PEOR” para referirme a los puntajes o comportamientos de los países como en algunos casos hacen los medios, sino que siempre me he referido a “MAYOR” o “MENOR”, más “ALTO” o más “BAJO”. Lo anterior, no es una distinción gratuita, casual o pecata minuta, sino que detrás de ello hay toda una justificación etimológica, epistemológica y hermenéutica, en función del significado estricto que aluden dichas expresiones, en el que conviene detenernos a los efectos de comprender con mayor claridad las dificultades y las consideraciones latentes en cuanto a uno de los términos más mencionados de la literatura educativa y cuya definición aún no logra unanimidad: “la Calidad de la Educación”.
Ya Verónica Edwards en su libro “El concepto de la calidad de la educación[16]” nos adelantaba una luz acerca de dicho término, indicando que “la Calidad de la Educación no es un significado, sino un significante”, con lo cual pone en el centro del debate educativo la dificultad de poder asir una definición que deje satisfecho a todos los actores educativos y a la sociedad en general; más aún, la propia UNESCO[17] en su “Informe Mundial de Seguimiento de la Educación Para Todos de 2005”[18], el cual dedica específicamente al tema, subtitulándolo como “El Imperativo de la Calidad”, apunta:
“…existen múltiples dificultades para definir el concepto de calidad educativa, razón por la que se ha optado hasta el momento por referirnos a ella a través del manejo que logran los alumnos de las competencias básicas para el aprendizaje, expresadas fundamentalmente por el dominio del lenguaje y el cálculo básico, llegando en casos más avanzados a las ciencias naturales o exactas, y muy excepcionalmente a las ciencias sociales.”

Lo cual no nos exime de reconocer -siguiendo lo expresado por la misma fuente-, que “Los distintos enfoques de la calidad de la educación tienen sus raíces en las distintas corrientes del pensamiento pedagógico. Los planteamientos humanistas, las teorías del behaviorismo, las críticas sociológicas de la educación y los cuestionamientos de las escuelas del colonialismo han enriquecido los debates sobre la calidad y han generado visiones diferentes de la manera en que se deben alcanzar los objetivos de la educación.”

Visto lo anterior y lo que la mayor parte de las investigaciones cuantitativas realizadas en el mundo en los últimos años indican, en cuanto a lo multifactorial y multidimensional del fenómeno educativo, resalta la dificultad de usar con rigor y exactitud los términos “MEJOR” o “PEOR”, en cuanto a juzgar así a tal o cual país en función de los resultados simples de este tipo de ejercicios como se hace frecuentemente en algunos medios masivos de comunicación u otros escenarios, de la misma forma que tampoco se puede hacer juicios de valor de esa forma en casi ninguno de los diferentes niveles de desagregación posibles, como lo son, las provincias o estados dentro de los países, los municipios, los sectores educativos, las zonas escolares, las escuelas mismas, los grupos o hasta los alumnos en particular, en virtud de que más allá de sus esfuerzos y voluntad, generalmente gravitan sobre sus resultados otras variables, que aun cuando no necesariamente son determinantes, sí, insisto, tienen una gran influencia en ellos.
La expresión “MEJOR” en tanto adjetivo calificativo, el diccionario de la Lengua Española nos indica en su primera acepción que:
Del lat. melior, -ōris.
1. adj. Superior a otra cosa y que la excede en una cualidad natural o moral.

Decir “MEJOR” o “PEOR” lleva una connotación de superioridad o inferioridad cualitativa entre quienes son comparados, a los cuales se les imputa una condición inicial de igualdad, lo cual en este caso no es así. Los países y por ende los distintos niveles de desagregación posibles no son necesariamente iguales, y por ende, no son “MEJORES” o “PEORES” en relación a los otros a partir de estos puntajes, en virtud de que sus puntos de partida y circunstancia son o pueden ser diametralmente distintos.

Por todo lo anterior, los términos que se usan en este texto hasta aquí, son “MAYOR” o “MENOR”, los cuales hacen referencia a una medición referida a un mismo patrón, tal cual la altura o el peso de los individuos es “MAYOR” o “MENOR” con respecto al patrón METRO o KILOGRAMO, sin que ello suponga a priori ningún juicio de valor cualitativo en sí. Ello no implica renunciar a tratar de aproximarnos a mediciones más finas que nos den una idea más cercana a la sustancia cualitativa del fenómeno, lo cual en un ensayo de esta magnitud no se pueda lograr, pero que sí abra el debate a otro tipo de mirada que “empareje la cancha” un poco para todos, permitiendo comparaciones quizá más justas y realistas, que nos lleven a conclusiones y por ende a decisiones mejor informadas.

Dicho lo anterior y tomando en cuenta que el factor externo que más influencia tiene en los resultados de evaluaciones estandarizadas como PISA, es el capital cultural de las familias[19] de los sustentantes y que el principal predictor de dicho capital es la educación promedio de sus padres[20], hemos buscado un indicador que podamos equiparar a dicho predictor, encontrando que el más consolidado, consistente, válido, confiable y comparable que existe a nivel de países, es el Índice de Desarrollo Humano (IDH) que genera el PNUD, por lo que a falta de otro mejor, más adelante haremos algunas correlaciones y regresiones donde el IDH será la variable independiente y el puntaje promedio de los países en Matemática de PISA será la variable dependiente, con lo cual podremos extraer las diferencias de los puntajes de los países en PISA por encima o por debajo de lo que sería esperable en función del nivel de su IDH.
Así entonces y a manera de introducción empezaremos por hacer unas puntualizaciones sobre el IDH en relación a los mismos años de la aplicación de PISA que hemos venido analizando, 2000 y 2015.
Gráfico 5. Comparativo de IDH 2000 y 2015[21]

Gráfico 6. Diferencias del IDH 2000 y 2015[22]

De los dos gráficos anteriores se puede entrever lo siguiente:
  1. Para los países de la comparación, el comportamiento del IDH en todos los casos se incrementa durante el periodo, a diferencia de lo que apuntamos anteriormente para los resultados de PISA.
  2. Este comportamiento incremental del IDH, da cuenta de un progreso paulatino del desarrollo de todos los países entre 2000 y 2015, lo cual, si hubiera una relación unívoca entre ambas variables, IDH y PISA, supondría de igual forma que los puntajes de PISA entre 2000 y 2015 se hubieran incrementado para todos los países, cosa que no sucedió así. Lo anterior, pudiera ser indicio de que la variable IDH aun cuando importante, no es absolutamente determinante.
  3. Con independencia de lo anterior, México con un incremento del IDH del orden de 0.0620, está por encima del promedio de crecimiento de los países de la comparación (0.0565), ocupando el lugar número 12 de 31 países, lo cual no es despreciable si consideramos que todos estos países pertenecen a la OECD.
  4. Los 5 países con el menor crecimiento del IDH son: Bélgica 0.0230, Noruega 0.0320, Suecia y Estados Unidos 0.0360 y Finlandia con 0.0390, lo cual es reflejo de estancamiento en el peor de los casos, o pudiera interpretarse con la ley de rendimientos decrecientes, que daría cuenta de un “efecto techo”, en donde a más alto IDH corresponde mayor dificultad para crecer, hipótesis que no es tan así, ya que en ese caso debería de estar Australia (0.0400) y Suiza (0.0510).
  5. Dejaremos hasta aquí las elucubraciones que estos datos simples nos pueden provocar con respecto al IDH, para pasar al tema que nos ocupa, los resultados de PISA 2000 y 2015 controlados por el IDH de los mismos años.
Empezaremos entonces por el análisis por cada uno de los dos años, primero 2000 y después 2015, para posteriormente analizarlos conjuntamente.


 Grafico 7. Dispersión de países en función del puntaje de PISA y el IDH del año 2000.[23]


Tabla 1. Ordenamiento de países por el puntaje diferencial entre lo esperado según su IDH 2000 y lo realmente obtenido en PISA 2000 (Índice de Esfuerzo Escolar IEE o Residuos[24]).

Del Gráfico 7 y su consecuente Tabla 1, entre otras cosas se puede intuir que:
  1. El R² del ejercicio es de 0.5619, lo cual da cuenta de una correlación lineal importante entre ambas variables, por lo que se confirma el IDH como un buen predictor del puntaje de PISA; dicho coloquialmente “alrededor de la mitad de las variaciones de los puntajes de PISA, se explican por el IDH”.
  2. Por otra parte, si partimos del supuesto de que el Residuo resultante corresponde a la diferencia entre el puntaje esperado de cada país dado su IDH (línea de regresión o pronóstico) y el puntaje realmente logrado, se puede considerar que el mismo, representa lo que el sistema educativo aporta o deja de aportar al rendimiento educativo reflejado en los puntajes PISA, lo que el autor propone que sea considerado como el Índice de Esfuerzo Escolar (IEE)[25].
  3. Dicho lo anterior, se puede plantear como hipótesis que esto nos acerca más a una medición de los MEJORES Y PEORES puntajes y no tan solo de los MAYORES y MENORES como hasta ahora.
  4. Considerando el IEE, las posiciones cambian en relación al ordenamiento original publicado por PISA.
  5. En el extremo superior del nuevo ordenamiento por IEE (5 primero lugares), Japón y Corea, 1° y 2° lugares originalmente, varían poco en su posición, Corea sube del 2° al 1er lugar, en tanto que Japón pasa del 1° al 3er lugar, ya que ambos países además de obtener un puntaje MAYOR, éste guarda una distancia considerable con lo esperado dado su IDH; en tanto que los que ocupaban originalmente los lugares 3° (Nueva Zelandia), 4° (Finlandia) y 5° (Australia), bajan al 6° Nueva Zelandia, 7° Finlandia y 19° Australia, país este último, cuya variación es muy escasa entre lo obtenido y lo esperado.
  6. Por contrapartida en el otro extremo del ordenamiento, donde los puntajes logrados son más distantes negativamente a los esperados, el nuevo ordenamiento por IEE igualmente observa ciertas consistencias y algunas sorpresas. En cuanto a las primeras, los países que ocupaban el último lugar (Brasil 31°), el penúltimo Luxemburgo (30°) y el ante-antepenúltimo Italia (28°) la variación no es mayor a dos lugares, donde Brasil permanece en el último sitio considerando o no el IEE; en tanto que sorpresivamente los Estados Unidos baja del lugar 19 al 26 y con una baja aún más pronunciada, Noruega pasa del 17 al 29.
  7. Con independencia de los comportamientos de los primeros y últimos cinco lugares vistos en los dos puntos anteriores, es prudente llamar la atención de los casos más extremos, aquellos que tienen las mayores diferencias entre lo logrado y lo esperado según su IDH. En primer término, está Corea, que presenta la mayor diferencia positiva con +60.20, indicio de ser el mejor sistema educativo en el año 2000 de los países incluidos en ese ejercicio; en tanto que Brasil con una diferencia de -71.84 podría considerarse el sistema más ineficaz de la comparación en PISA 2000. Así mismo, en términos de cambio en su posición relativa, los países que muestran mayor ascenso son Rusia y Letonia que ascienden 20 posiciones, del 22 a la 2 y del 25 a la 5 respectivamente, en tanto el país que pierde más posiciones es Australia que pierde 14 lugares, cambia del lugar 5 al 19.
  8. En el caso de México la diferencia entre los 387 puntos logrados en PISA 2000 y lo esperado 414.84 según su IDH es de -27.84 puntos, o dicho de otra forma, su IEE es de -27.84, lo cual quiere decir que el sistema educativo mexicano está a 27.84 puntos de lograr el rendimiento que le es esperable según su nivel del IDH; por otra parte, si se analiza su comportamiento dentro de todos los países, hay un cambio en su posición relativa por IEE, donde pasa de la posición 25 a la 20, lo cual matiza las aseveraciones de que nuestro país es el “peor” sistema educativo de la OECD, ya que por IEE está por encima de Grecia, Estados Unidos, Italia, Noruega y Luxemburgo, países todos pertenecientes a la OECD.
Visto lo anterior, procederemos a hacer el mismo ejercicio, para 2015 a los efectos de aportar más elementos al análisis y así ir acercándonos a una visión más completa y comprensiva de un fenómeno de suyo complejo.


Grafico 8. Dispersión de países en función del puntaje de PISA y el IDH de 2015[26].



Tabla 2. Ordenamiento de países por el puntaje diferencial entre lo esperado según su IDH 2015 y lo realmente obtenido en PISA 2015 (Índice de Esfuerzo Escolar IEE o residuos[27]).
Del Gráfico 8 y su consecuente Tabla 2, entre otras cosas se observa que:

  1. Este gráfico y tabla incluyen todos los países y economías que participaron en PISA 2015 y para los cuales existe el IDH para el mismo año.
  2. El R² del ejercicio para 2015 es de 0.6644 lo cual nuevamente da cuenta de una correlación lineal importante entre ambas variables, por lo que se reconfirma el IDH como un buen predictor del puntaje de PISA.
  3. Siguiendo el mismo criterio de análisis que se hizo para 2000, considerando IEE las posiciones cambian para 2015 en relación al ordenamiento original al igual que en aquel año.
  4. En el extremo superior del nuevo ordenamiento por IEE (5 primero lugares), Singapur, Estonia y Hong Kong[28], varían poco en su posición, Singapur baja del 1° al 2° lugar, Estonia sube del 6°al 4° y Hong Kong baja del 2° al 5° lugar; en tanto se incorporan a este nivel de análisis Vietnam y Rusia, el primero que pasa del lugar 19 al número 1, con mucho el mejor sistema educativo de todo el ejercicio con una diferencia entre lo logrado y lo esperado de +124.73 puntos, equivalente a más de una desviación estándar[29] y Rusia, que pasa del lugar 21 al 3 por IEE.
  5. En el otro extremo del ordenamiento, donde los puntajes logrados son más distantes negativamente a los esperados, el nuevo ordenamiento por IEE observa igualmente ciertas consistencias y algunas sorpresas. En cuanto a las primeras, los países que ocupaban los últimos lugares cambian de la siguiente forma: República Dominicana sube del 64° al 63° + 1 lugar y Macedonia EYR del 62° al 60° +2 lugar, ambas, variaciones menores; en tanto que sorpresivamente Qatar baja del lugar 54° al 64° -10 lugares, Chile del 44° al 62° -18 lugares, y Estados Unidos nuevamente como en 2000 observa una baja significativa por IEE, del lugar 36° al 61° -25 lugares.
  6. Con independencia de los comportamientos de los primeros y últimos cinco lugares vistos en los dos puntos anteriores, es prudente llamar la atención de los casos más extremos, aquellos que tienen las mayores diferencias entre lo logrado y lo esperado según su IDH, o sea por IEE.
  7. En primer término, está Vietnam, que como ya apuntamos presenta la mayor diferencia positiva con +124.73, indicio de ser con mucho el mejor sistema educativo de la comparación, el más eficaz; en tanto que Qatar con una diferencia de -68.00, podría considerarse el sistema más ineficaz de la comparación en PISA 2015. Así mismo, en términos de cambio en su posición relativa, el país que muestran mayor ascenso es Indonesia, que asciende 42 posiciones, del 59° al 17°; en tanto el país que pierde más posiciones es Noruega 33, al  cambiar del 16° al 42°, seguido de Australia que pierde 32, del 20° al 52°, comportamiento que similar al de 2000.
  8. En el caso de México la diferencia entre los 408 puntos logrados en PISA 2015 y lo esperado (415.81) según su IDH es de un IEE de -7.21 puntos, lo cual acorta dicha distancia con respecto a lo sucedido en 2000 que fue de -27.84, o sea que se observa un avance de 20 puntos de IEE, lo que se puede leer como que el sistema educativo mexicano ha mejorado su rendimiento según su IDH; por otra parte, si se analiza su posición relativa por IEE hay un cambio positivo al pasar de la posición 52° a la 38° (+14), lo cual nuevamente desmiente las aseveraciones de que nuestro país es el “peor” sistema educativo de la OECD, al quedar por encima de Luxemburgo, Suecia, Nueva Zelanda, Reino Unido, Trinidad y Tobago, Georgia, Perú, Uruguay, Islandia, Líbano, Noruega, Grecia, Montenegro, Australia, Costa Rica, Jordania, Israel, Túnez, Chipre, Emiratos Árabes Unidos, Brasil, Macedonia (ERY), Estados Unidos, Chile, República Dominicana y Qatar.
Finalmente hagamos un análisis combinado del IDH y PISA 2000 y 2015.


Grafico 9. Dispersión de países en función del puntaje de PISA y el IDH de los años 2000 y 2015[30].

 De la anterior comparación gráfica se puede comentar que:

1.       Solo se incluyen los países o economías que participan tanto en PISA 2000 como en PISA 2015 y que además tienen IDH, por lo que el R² para este último año es de 0.594, lo cual sigue siendo un indicador de que el IDH es un buen predictor de los resultados de PISA.
2.       Aun cuando se observa cierta consistencia en el comportamiento de los dos ejercicios, las líneas de regresión no se sobreponen, ni son estrictamente paralelas, lo cual se puede interpretar de la siguiente forma:
a.       Las líneas de regresión reflejan el incremento generalizado del IDH por lo que 2015 parte de un valor superior a la de 2000.
b.      Así mismo, dichas líneas son de diferente longitud debido a la reducción en la dispersión de los valores del IDH entre 2000 y 2015.
c.       La línea de regresión de 2000 es más vertical que la de 2015, en virtud de que los puntajes de PISA parte de valores inferiores, pero por otro lado se observan valores más altos a los de 2015, lo que es evidencia de la homogeneización de los resultados.


Conclusiones.
  1. El Programa Internacional para la Evaluación de Estudiantes PISA es sin duda el referente de mayor cobertura en materia de evaluación de los aprendizajes nivel internacional.
  2. Más allá de lo multifactorial y multidimensional del fenómeno educativo, los resultados de PISA son un buen indicio sobre los niveles de rendimiento educativo en los países participantes.
  3. Con independencia de lo dicho en los puntos anteriores, PISA no debe de ser considerado como el reflejo absoluto de lo que está sucediendo en el mundo en materia educativa, en virtud de su poca representatividad y notorio sesgo por tipo de países participantes.
  4. Los resultados de PISA de ninguna manera reflejan el esfuerzo, ni la eficacia de los sistemas educativos de los países que participan, a menos de que sus resultados se controlen por algunas variables o índice que represente los factores exógenos al esfuerzo escolar que afectan directamente su comportamiento en este tipo de evaluaciones.
  5. Sin menoscabo de lo relativo de estos resultados, los mismos si reflejan el lugar que los sistemas ocupan en cuanto a rendimiento educativo, en términos de lo que se conoce coloquialmente en el sector como “las carreras de caballos”, en el sentido de que indican quien obtiene los mayores o los menores puntajes sin importar sus puntos de partida, ni condiciones en que se da el hecho educativo.
  6. Estudios como PISA ponen de manifiesto la necesidad de diferenciar entre los MAYORES o MENORES puntajes y los MEJORES y PEORES puntajes, priorizando en sus informes estos últimos por ser los que de mejor forma dan cuenta del esfuerzo que hacen los sistemas por educar a su sociedad.
  7. No efectuar lo dicho en el párrafo anterior generalmente tiende a sobredimensionar a los países cuyas poblaciones tienen mejores condiciones de inicio, en tanto por el contrario se estigmatizan a aquellos cuyas condiciones de partida son en extremo más difíciles, complicadas o hasta en algunos casos verdaderamente negativas para educar a sus pueblos.
  8. Considerando todo lo dicho en las conclusiones que anteceden, México, de ninguna manera puede ser considerado como el país de la OECD que tiene el sistema educativo más ineficaz de los que pertenecen a la misma.
  9. Así mismo, considerando que los instrumentos aplicados en 2000 y 2015 sean equivalentes, la evidencia mostrada en este ensayo demuestra más allá de una duda razonable, el sistema educativo de México ha mejorado sustantivamente su rendimiento en un quinto de desviación estándar sobre su puntaje de 2000 a 2015. México en cuanto a la brecha (IEE) entre su puntaje esperable dada su mezcla social (IDH) y el puntaje verdaderamente logrado, de 2000 a 2015 ha reducido en 20 puntos de la escala de PISA, logrando situarse a tan solo 7 puntos por debajo de lo esperable, lo cual es una evidencia clara de mejora.
  10. A nivel Internacional este tipo de interpretaciones dan cuenta de lo que a últimas fechas se empieza a reconocer, Vietnam es con mucho es sistema educativo más eficaz de todos los que participan en PISA 2015.
  11. Así mismo, a partir de estas interpretaciones es evidente que pertenecer o no a la OCDE de ninguna manera es sinónimo de un buen sistema educativo, por lo que las interpretaciones planas y descontextualizadas que se hace de los resultados de PISA en los medios masivos de comunicación y en algunos círculos de “disque” expertos educativos, es equivocada y desconoce el carácter eminentemente cultural del fenómeno educativo, llegando en ocasiones hasta interpretaciones de mala fe.
  12. En los últimos años, México, la región y una buena parte de la comunidad internacional se han dado a la tarea de desarrollar sistemas de evaluación educativa, los cuales en opinión del autor de este ensayo, están “al debe”; si bien como refleja este ensayo, hay avances en los niveles de aprendizaje que reflejan, de estos, no existe evidencia dura alguna que nos indique que sean derivados directamente de su existencia, son inversiones millonarias y parece ser que su utilidad se ha concretado únicamente a mostrar esos avances, sin que su existencia abone a favorecerlos, por lo que se hace necesario innovar en su forma de presentarlos, interpretarlos, difundirlos y usarlos, a los efectos de que ellos generen por sí mismos inercias en el sector educativo hacia la mejora.
  13. Con independencia de todo lo anterior, es recomendable -como ya se dijo anteriormente-, realizar un análisis longitudinal de los resultados de PISA de todas sus aplicaciones y disciplinas a los efectos de validad los hallazgos aquí descritos y obrar en consecuencia.
  14. Finalmente, más allá de los análisis descontextualizados de estas investigaciones y del énfasis que se le da a los resultados brutos de las mismas, es necesario continuar participando en estos ejercicios, ya que los mismos nos alejan de las visiones endogámicas que tanto daño hicieron a nuestro desarrollo educativo en años pasados, facilitándonos la comparación con los otros, que aun cuando somos distintos, nos permite ubicarnos en un contexto más amplio y reconocer si avanzamos o retrocedemos en un mundo eminentemente competitivo, donde todos los países buscan mejorar sus niveles de rendimiento educativo.

        En definitiva, este texto de ninguna forma pretende erigirse como el “modelo”, ni mucho menos la síntesis de los propios hallazgos de la OCDE o de otro prestigiados investigadores, sino que lo que busca es aportar una visión distinta a la interpretación de los resultados de este tipo de ejercicios; rescatar información que dé cuenta de evidencias claras y contundentes de que el sistema educativo mexicano ha avanzado; que si bien, sigue por debajo de lo que sería esperable de él en función de la mezcla social del país, se ha avanzado; que dicho avance nos es menor; que todo lo cual de ninguna manera quiere decir que se deba de “echar las campanas al vuelo”, sino que hay que redoblar el paso, continuar con los esfuerzos de reforma que devuelvan al sistema transparencia, racionalidad e incorporen en sus decisiones la innovación pensada e inteligente que se base en evidencias y no únicamente en ecuaciones políticas. México heredero de culturas milenarias merece un lugar acorde a ella, lo cual no se logrará tan solo con buenos deseos, se hacen necesarios esfuerzos continuados, inteligentes y debidamente soportados en la evidencia científica.

Por otra parte, es innegable que estos ejercicios son valiosos, pero si y solo si, trascienden hasta el espacio privilegiado donde se da el hecho educativo, EL AULA y LA ESCUELA; mientras esto no suceda, no dejarán de ser meros esfuerzos académicos dirigidos tan solo a expertos, investigadores y periodistas que hagan uso de los mismos para su mejor conocimiento o para denostar esfuerzos y logros. México merece al menos una educación que sea acorde a su nivel de desarrollo humano. Ese es el objetivo inicial, lo demás aun cuando pueda conllevar la mejor buena voluntad, no pasará de ser mera retórica –en su sentido más pobre-, condenando a las nuevas generaciones a romper el comportamiento primigenio del sentido de la palabra civilización, el cual supone por sí mismo que cada generación supere tecnológica, científica y educativamente a la anterior. Queda pues el reto para la evaluación educativa de transformarse en un verdadero motor de cambio en educación.  




Bibliografía.

OECD (2001), PISA 2000 Knowledge and Skills for Life Firrst Results from the OECD Programme For International Student Assessmente (PISA) 2000. http://www.oecd-ilibrary.org/docserver/download/9601141e.pdf?expires=1497889076&id=id&accname=guest&checksum=4F01539A9F9E506171CE3E8D72EEB6BC

OECD (2016), PISA 2015 Results (Volume I): Excellence and Equity in Education, PISA, OECD Publishing, Paris, http://dx.doi.org/10.1787/9789264266490-en

Oppenhaimer, Andres. “¡BASTA DE HISTORIAS! La obsesión latinoamericana con el pasado y las 12 claves del futuro” Editorial DEBATE, 2010.

Palafox, J.C. “Mitos y realidades de la No SELECCIÓN en educación. Un debate chileno, visto desde una experiencia mexicana.”
-            Revista Análisis Público de la Escuela de Administración Público, Universidad de Valparaíso, Chile, Número 5, 2015 http://issuu.com/analisispublico/docs/an__lisis_p__blico_n__5-2015_8029eb958cdb7f?e=0/14166023#search  ;  y,
-            Revista de Educación y Cultura AZ. (1ª. Parte) Número 91. marzo 2015 http://www.educacionyculturaaz.com/091/091-AZMARZO2015.pdf  . (2ª. Parte) Número 92. abril 2015 http://www.educacionyculturaaz.com/092/092-AZABRIL2015.pdf

Palafox, J.C., La Disputa por la Educación. Por el México que queremos. "El futuro de la educación mexicana, apoyado en su pasado y visto desde su presente". Editorial Aguilar, 2011.

Palafox, J. C., Prawda J. y Vélez E. “Primary School Quality in Mexico”:
-        Banco Mundial en su serie A Views from LATHR, No. 33. Edición en inglés Nov. 1992. http://www.jstor.org/pss/1189030   
-        University Chicago Press, en Comparative Education Review, Vol. 38, No. 2. pp. 167-180, Edición en inglés May 1994. http://www.jstor.org/pss/1189030   

UNESCO, Resumen del Informe de Seguimiento de la EPT en el Mundo 2015. LA EDUCACIÓN PARA TODOS, 2000-2015: LOGROS Y DESAFÍOS http://unesdoc.unesco.org/images/0023/002325/232565s.pdf

UN. United Nations Development Programme. Human Development Reports. http://hdr.undp.org/es/content/el-%C3%ADndice-de-desarrollo-humano-idh

Verónica Edwards Risopatron, “El Concepto de Calidad de la Educación”. UNESCO 1991.


* El autor de este ensayo ha sido consultor internacional en temas de planificación, sistemas de información y evaluación educativa en organismos como la UNESCO, la OEI, el Preal y el Banco Mundial, y de los Ministerios de Educación de Argentina, Bolivia, Chile, Ecuador, El Salvador, México y Uruguay; así mismo, asume la responsabilidad total por lo aquí expresado y manifiesta que no necesariamente refleja el punto de vista de organismo, institución o dependencia alguna. Adicionalmente, agradece a Regina Renero y a Luis Enrique Velázquez por su apoyo en el manejo de datos, la elaboración de algunos de los gráficos aquí mostrados, así como, por sus comentarios al primer borrador de este ensayo, que junto a los de la Maestra Sylvia Schmelkes Del Valle y RosaMaría Salgado Caamaño enriquecieron el texto.

[1] Program for International Student Assessment.
[2] Organization for Economic Co-operation and Development.
[3] México pertenece a la OECD desde el 18 de mayo de 1994.
[4] Para 2000 se toma como referencia los datos publicados por la OECD en la primera publicación de dicho estudio. Knowledge and Skills for Life FIRST RESULTS FROM PISA 2000.
[8] 6
[9] Incluyendo algunas áreas económicas que no son países en sí, tales como: Hong Kong, Macao, P S J G China y CABA Argentina.
[10] Elaboración propia con base en las dos fuentes antes citadas.
[11] Ídem.
[12] La comparabilidad de las áreas menores no es un atributo riguroso como el del área de mayor énfasis de cada año, lo cual el autor deja de lado para plantear la comparación simple de los primeros datos publicados por PISA en 2000 con 2015.
[13] Ejemplo: Andrés Oppenhaimer en “¡BASTA DE HISTORIAS! La obsesión latinoamericana con el pasado y las 12 claves del futuro”, extraordinario periodista que no necesariamente es especialista en educación.
[14] Se recomienda hacer un ejercicio longitudinal que permita reconocer comportamientos más consistentes a lo largo de todos los años de la aplicación de PISA: 2000, 2003, 2006, 2009, 2012 y 2015.
[15] Igualmente puede ser la expresión del fenómeno estadístico llamado “regresión a la media”, que ocurre con una aplicación recurrente de un instrumento. Puntualización sugerida por la Mtra. Sylvia Schmelkes.
[16] Verónica Edwards Risopatron, “El Concepto de Calidad de la Educación”. UNESCO 1991.
[17] Organización de las Naciones Unidas para la Educación la Ciencia y la Cultura.
[19] Término muy difundido en el medio, pero que no necesariamente es muy afortunado en virtud de que todo ser humano al pertenecer a cualquier cultura, tiene por ese solo hecho un capital cultural. En este caso se entiende solo como el promedio de años de escolarización de los padres de los sustentantes.
[20] Lo cual ya desde principios de la década de los 90’s del siglo pasado fue detectado en México en: “Primary School Quality in Mexico” Coautoría de: J. C. Palafox, J. Prawda y E. Vélez. Publicado por:
-               University Chicago Press, en Comparative Education Review, Vol. 38, No. 2. pp. 167-180, Edición en inglés May 1994. http://www.jstor.org/pss/1189030  
-               Banco Mundial en su serie A Views from LATHR, No. 33. Edición en inglés Nov. 1992. http://www.jstor.org/pss/1189030 
[22] Fuente: Ídem.
[23] Elaboración propia con base en las fuentes antes citadas.
[24] Para el cálculo de los residuos al autor utilizó el Software SPSS 2016.
[25] Palafox, J.C., "El futuro de la educación mexicana, apoyado en su pasado y visto desde su presente"
[26] Elaboración propia con base en las fuentes antes citadas.
[27] Para el cálculo de los residuos al autor utilizó el Software SPSS 2016.
[28] En esta medición están incluidos además de países, algunas economías autónomas que forman parte de países, pero no representan al país en su totalidad.
[29] Este comportamiento de Vietnam ya fue demostrado con anterioridad por el autor en el análisis que hizo de los resultados de PISA 2012 en:
Revista Análisis Público de la Escuela de Administración Público, Universidad de Valparaiso, Chile, Número 5, pp 113 a 132, julio 2015 http://issuu.com/analisispublico/docs/an__lisis_p__blico_n__5-2015_8029eb958cdb7f?e=0/14166023#search ;  y,
Revista de Educación y Cultura AZ. (1ª. Parte) Número 91. pp 36 a 41. marzo 2015 http://www.educacionyculturaaz.com/091/091-AZMARZO2015.pdf . (2ª. Parte) Número 92. pp 36 a 41. abril 2015 http://www.educacionyculturaaz.com/092/092-AZABRIL2015.pdf 
[30] Fuente: Elaboración propia con base en las fuentes antes citadas.