Páginas vistas en total

jueves, 3 de agosto de 2017

PISA. Análisis comparado 2000 a 2015. Indicios esperanzadores.

Este ensayo argumentativo me fue publicado por la Revista Voces de la Educación Vol.3 Núm. 5 Enero– Junio 2018, Pags. 136-169.  http://www.vocesdelaeducacion.com.mx/wp-content/uploads/2018/03/Revista-Vol.3-Num.5.pdf 

------------------------------------------------------------------------------------------------------------------------------------------------------

“Si es un milagro, cualquier testimonio es suficiente,
pero si es un hecho, es necesario probarlo.”

Mark Twain.


PISA. Análisis comparado 2000 a 2015. Indicios esperanzadores

Autor: Juan Carlos Palafox Pérez de Salazar*


Antecedentes.

Como ya se ha hecho costumbre en los últimos 15 años –desde el año 2000-, el sector educativo, y por ende la sociedad misma, se vio cuestionada educativamente por los resultados del Programa para la Evaluación Internacional de Alumnos (PISA por sus siglas en inglés[1]) realizado por la OECD[2], en términos de la calidad de la educación que se imparte en los países, lo cual puede ser una expresión sobre dimensionada, que en términos reales acotaremos más adelante.
Más allá de ello, lo que no se puede poner en tela de juicio es el impacto mediático que dicho Programa conlleva para la opinión pública de los distintos países que participan en dicho estudio, incluyendo obviamente a México como miembro de la OECD[3], en cuyo caso invariablemente nos vemos ubicados en el último o penúltimo lugar de los países afiliados a esa Organización, junto a Chile y en compañía -entre otros-, de los demás países latinoamericanos que no pertenecen a la OECD pero que si participan en PISA, todos los cuales nos ubicamos por debajo de la Media de la distribución del total que participa, sean miembros o no de la OECD.
Por esta razón es que, quien suscribe esta líneas considera que más allá de los sesudos informes que la Organización presenta en cada ocasión, mismos que en general son solo de uso especializado y que poco trascienden en el ámbito del espacio donde efectivamente se da el hecho educativo “La Escuela”, vale la pena hacer algunas puntualizaciones relacionadas con ciertos mitos y realidades que se suscitan a partir de este Programa, solo con la intención de ubicarle en su contexto, en su dimensión temporal y de una forma más accesible.
Este breve ensayo busca aportar otro tipo de análisis de los resultados de PISA 2015 (publicados en noviembre de 2016), desde una visión retrospectiva desde sus inicios en el año 2000[4]. Comienza así, con un primer apartado que permite al lector una interpretación básica de ambos ejercicios, 2000 y 2015; posteriormente, identifica para cada uno de ellos, no tan solo los puntajes expresados en las escalas de PISA, sino también relevando aquello que de suyo es verdadera responsabilidad de los sectores educativos, más allá de otras variables de contexto que les afectan de manera importante y cuya responsabilidad no les corresponde en el momento de la evaluación.
Para lograr dicha contextualización se utilizará el Índice de Desarrollo Humano (IDH) que construye el Programa de las Naciones Unidas para el Desarrollo (PNUD)[5], indicador de larga data y reconocida validez, confiabilidad y comparabilidad internacional.
Por último, se presentará una serie de conclusiones y recomendaciones que buscan contribuir con algo a una interpretación más comprensiva de estos resultados, su comportamiento histórico y los hallazgos que pueden aportar este tipo de estudios a partir de sus datos más simples y gruesos, sin entrar en sofisticaciones de niveles de desempeño, ni cuestiones de dispersión.
Conviene mencionar, que si bien PISA reporta resultados para tres dominios diferentes (Lenguaje y comunicación, Matemática y Ciencias), en este caso solo nos referiremos a las pruebas de Matemática con el objeto de no sobresaturar este texto con demasiados datos que desvíen el foco de atención del lector de lo que en realidad se quiere trasmitir; asimismo, porque los comportamientos en general son más o menos similares para las tres disciplinas; y, en virtud de que para el autor, dicha disciplina es la más comparable entre países, ya que es la que menos se ve influenciada por sesgos culturales o sociales.
Es importante mencionar que el presente texto, no pretende ser un tratado de interpretación profunda de los resultados de PISA, sino de ofrecer, a partir de datos básicos, una mirada más sencilla de dichos resultados y de su comportamiento histórico tal cual aparecen en sus publicaciones de origen, más allá de análisis más rigurosos, precisos y exactos.
Por último, los países que se presentan a lo largo de todo el texto no necesariamente son todos los que participan, sino que para el año 2000 se consideran los reportados en el Informe ya citado[6], en otros puntos del documento se eliminan aquellos que no participan en los dos ejercicios de 2000 y 2015, así como, en otros casos solo se consideran los que pueden relacionarse con el Índice de Desarrollo Humano de las Naciones Unidas, que no necesariamente existe para todos los que participan en PISA.
Así entonces, empezaremos por presentar a continuación, los resultados generales de Matemática en PISA 2000, utilizando la escala general de dicho programa, donde la media inicial es aproximadamente de 500 puntos y la desviación estándar de 100 puntos, por lo que los gráficos no parten del “0” sino que se muestran a partir de las decenas más próximas al valor inferior y al más alto, para no saturar dichos gráficos.


Gráfico 1. Ordenamiento inicial de los países según los resultados de PISA 2000 en Matemática[7].

con tribuir con   

  
Países de la OECD:            No latinoamericanos             Latinoamericanos    Países NO de la OECD:          No latinoamericanos           Latinoamericanos

En una primera lectura de los resultados presentados en el gráfico anterior, se puede sacar algunas primeras luces que conviene resaltar:
1.       El total de países participantes en esta primera evaluación de PISA 2000, es de 41 países, dentro de los más de 200 que existen en el planeta, por lo que en términos de países solo 20% de los existentes fue representado en este estudio.
2.       De los 41, en aquel año tan solo 13 no pertenecen a la OECD y por ende es de suponer que casi todos ellos observan un Índice de Desarrollo Humano ALTO o MUY ALTO como se verá más adelante.
3.       Derivado de los dos puntos anteriores, es claro que esta evaluación de ninguna manera representa la educación del mundo y dado que de los 41 participantes 28 pertenecen a la OECD, existe entonces un sesgo notorio de sobre-representación de los países de esa Organización.
4.       Por otra parte, solo 5 de los países participantes son latinoamericanos, Argentina, Brasil, Chile, México y Perú, en tanto la región está compuesta por 19 países, por lo que tampoco se puede decir que estos resultados representen a la Región en términos de países, aun cuando en términos de población si representan al rededor del 75%.
5.       Más allá de la representatividad de los resultados antes mencionada, es claro que los países latinoamericanos en términos de puntaje, ocuparon las últimas posiciones (34 Argentina, 35 México, 36 Chile, 40 Brasil y 41 Perú), con lo cual se inicia la estigmatización descontextualizada que algunos medios de comunicación hacen al respecto, y como se verá más delante, de toda la región.
A partir de esta evaluación, durante los siguientes 15 años recurrentemente se han dado ejercicios similares cada 3 años, donde si bien siempre se evalúan los tres dominios, Lenguaje y comunicación, Matemática y Ciencias, en cada aplicación se va rotando el énfasis en alguno de ellos. Para el año de 2015, cuyos resultados se publicaron en noviembre de 2016 el énfasis fue en Ciencias, pero siguiendo el mismo esquema que en 2000 consideraremos para este ensayo los resultados en la disciplina de Matemática, presentados a continuación.

Gráfico 2. Ordenamiento inicial de los países según los resultados de PISA 2015 en Matemática[8].
Países de la OECD:          No latinoamericanos            Latinoamericanos                         Países NO de la OECD:           No latinoamericanos          Latinoamericanos




Prosiguiendo con el análisis de sus agregados más simples como se hizo en el caso anterior, para PISA 2015 podemos rescatar los siguientes indicios:
1.       15 años después, la cantidad de países pasa de 41 a 70[9], lo cual sigue siendo una minoría con relación al total de países existentes en el mundo -tan solo un 35% aproximadamente-, aun cuando es claro que el Programa PISA con el pasar de los años se ha ido consolidando como el referente más importante del rendimiento educativo a nivel mundial.
2.       Ahora bien, sigue persistiendo el sesgo en cuanto a la representatividad de la OECD, cuyos países representan poco más del 50% del total de los participantes.
3.       Por lo que toca a la representación de los países latinoamericanos, éstos aumentan de manera significativa, pasando de solo 5 en 2000, a 9 países o áreas económicas[10] en 2015, lo cual se acerca más al 50% de la región en términos de países.
4.       En cuanto los resultados propiamente dichos, si bien los puntajes de los países que pertenecen a la OECD siguen siendo los que observan los puntajes más altos, esto no es así en el extremo superior de la escala, donde de los 5 primeros, 4 no pertenece a la Organización, lo que pudiera ser indicativo de que pertenecer a la OECD no es condición sine cuan non para obtener los resultados más altos en este tipo de ordenamientos.
5.       Complementario a lo anterior, es de hacer notar que de las 7 entidades que obtienen los puntajes más altos, todas pertenecen al oriente, aun cuando 3 de ellas, no son países, sino economías.
6.       Por lo que toca a los países latinoamericanos, como resultado de su mayor participación, -ahora 9 en lugar de 5 de 2000-, se observa qué si bien ya no son los que tienen los puntajes menores como en 2000, si obtienen puntajes por debajo de la mitad de la distribución, pertenezcan o no a la OECD y 6 de ellos están ubicados en el último cuartil de la distribución.

Dejaremos hasta aquí el análisis por separado de ambos ejercicios, para proceder a explorar algunos indicios que ofrece el análisis de los resultados de 2000 y 2015 conjuntamente.
Conviene mencionar que para realizar esta comparación hay que considerar algunos criterios básicos que le dan sustento:
1.       Si bien se reconoce que un examen de papel y lápiz que se aplica cada tres años, no es prueba suficiente para emitir un juicio de valor absoluto sobre la calidad de los sistemas educativos de los países; por otra parte, su aplicación reiterada y la consistencia de los comportamientos observados a lo largo del tiempo, 15 años y 6 aplicaciones distintas, sí es un indicio que puede dar cuenta sobre lo que está pasando, tal cual puede ser para una persona tomarse la temperatura corporal en repetidas ocasiones y que su lectura indique en todas más de 40° o menos de 34°, razón suficiente para sospechar que algo no está bien y se hace necesario obrar en consecuencia.
2.       De igual forma, se reconoce que los logros que reflejan estas investigaciones no representan solo el resultado del quehacer y la intencionalidad de los educadores, directivos, autoridades y de los sistema educativos de los países en sí, sino que adicionalmente -tal cual indica la literatura sobre el tema-, existen factores exógenos al sistema educativo que gravitan de manera importante en dichos resultados, dentro de los que destaca “el capital cultural de las familias” [11] de los sustentantes previo a la aplicación de los instrumentos de evaluación, por lo que como elemento de control de dichos factores exógenos -como ya apuntábamos al principio de este ensayo-, más adelante introduciremos en la ecuación de análisis, el Índice de Desarrollo Humano (IDH) que elabora el PNUD como un elemento de probada confiabilidad, validez y comparabilidad a nivel internacional.
3.       Considerando lo dicho en el párrafo anterior, para realizar el ejercicio comparativo, en ciertos análisis solo se enunciarán los países que hayan participado en ambos ejercicios (2000 y 2015), que además cuenten con el IDH para ambos años.


Análisis de resultados de PISA 2000 y 2015 en Matemática a partir de los puntajes simples y sin incluir otra variable.

Gráfico 3. Puntajes en Matemática de los países según los resultados de PISA 2000 y 2015[12].

Gráfico 4. Diferencias de puntajes de los resultados de PISA 2000 y 2015 en Matemática[13].




Una lectura inicial de los resultados generales de ambos ejercicios, PISA 2000 y PISA 2015 en Matemática mostrados en los dos gráficos anteriores -suponiendo que los instrumentos aplicados son equivalentes en cuanto a grado de dificultad-, nos indicaría lo siguiente:
1.       39 de los 41 países originales de 2000 participan en 2015, lo cual pudiera interpretarse como un signo de legitimidad, lo cual no es tan así, en virtud de que todos los países que pertenecen a la OECD, por ese solo hecho, pareciera que se ven presionados a participar en PISA.
2.       Ningún país que realiza los dos ejercicios obtiene el mismo puntaje en ambos ejercicios.
3.       Las diferencias que se observan no son consistentemente mayores o menores entre 2000 y 2015, esto es, hay países que incrementan sus puntajes, como también hay otros que lo reducen, con variaciones desde -42 (Nueva Zelanda) hasta +95 (Perú), equivalentes a 137 puntos de la escala de PISA (1.37 desviaciones estándar).
4.       México junto con Albania, Alemania, “Argentina[14]”, Brasil, Bulgaria, Chile, España, Federación Rusa, Grecia, Indonesia, Irlanda, Israel, Italia, Letonia, Luxemburgo, Noruega, Perú, Polonia y Portugal (20 países o economías) observan puntajes en 2015 superiores al año 2000, en tanto que el resto reduce sus puntajes, 19 países (Australia, Austria, Bélgica, Canadá, Hong Kong –China-, Dinamarca, Estados Unidos, Finlandia, Francia, Hungría, Islandia, Japón, Nueva Zelandia, Reino Unido, República Checa, Corea, Suecia, Suiza y Tailandia).
5.       Si partimos de la hipótesis ya mencionada, de que los instrumentos que aplica PISA son instrumentos de una alta confiabilidad, validez y cierta comparabilidad en el tiempo[15], se puede deducir que:
a.       De la comparación simple de ambos ejercicios se puede observar un primer indicio de que México, aun cuando siempre observa puntajes bajos y figura en el último o penúltimo lugar de los países que pertenecen a la OECD, tiene un comportamiento de mejora de +21 en la escala de PISA entre los dos ejercicios, lo cual no es menor, ya que se puede considerar como el 6° país de la OECD con el mayor incremento en el periodo.
b.       De los países que bajan sus puntajes resaltan algunos que según la prensa especializada -y no tanto[16]-, son ponderados como los mejores sistemas educativos del mundo, tales como: Australia (-39), Austria (-18), Bélgica (-13), Canadá (-17) Estados Unidos (-23), Finlandia (-25), Francia (-24), Hong Kong-China (-12), Hungría (-11), Islandia (-26), Japón (-25), Reino Unido (-37), República Checa (-6), Corea (-23), Suecia (-16), Suiza (-8), Tailandia (-17) y Nueva Zelanda, país este último con la reducción más pronunciada de toda la comparación, -42.
c.       En 15 años solo Perú observa una variación positiva superior a 50 puntos (aproximadamente media Desviación Estándar), los demás no rebasan este valor, ni positiva, ni negativamente, con excepción de Argentina cuyo comportamiento no es comparable por las razones expuestas en la nota de pie de página número 14.
d.       Por último, en general, se observa una reducción de las diferencias entre los países. Lo cual pudiera ser síntoma de la homogenización de los resultados[17] [18].

Llegados a este punto, conviene hacer un señalamiento fundamental a considerarse a lo largo de lo que deviene en este texto. Hasta aquí, si el lector ha sido suspicaz, se habrá dado cuenta que nunca he empleado los términos “MEJOR” o “PEOR” para referirme a los puntajes o comportamientos de los países como en algunos casos hacen los medios, sino que siempre me he referido a “MAYOR” o “MENOR”, más “ALTO” o más “BAJO”. Lo anterior, no es una distinción gratuita, casual o pecata minuta, sino que detrás de ello hay toda una justificación etimológica, epistemológica y hermenéutica, en función del significado estricto que aluden dichas expresiones, en el que conviene detenernos a los efectos de comprender con mayor claridad las dificultades y las consideraciones latentes en cuanto a uno de los términos más mencionados de la literatura educativa y cuya definición aún no logra unanimidad: “la Calidad de la Educación”.
Ya Verónica Edwards en su libro “El concepto de la calidad de la educación[19]” nos adelantaba una luz acerca de dicho término, indicando que “la Calidad de la Educación no es un significado, sino un significante”, con lo cual pone en el centro del debate educativo la dificultad de poder asir una definición que deje satisfecho a todos los actores educativos y a la sociedad en general; más aún, la propia UNESCO[20] en su “Informe Mundial de Seguimiento de la Educación Para Todos de 2005”[21], el cual dedica específicamente al tema, subtitulándolo como “El Imperativo de la Calidad”, apunta:
“…existen múltiples dificultades para definir el concepto de calidad educativa, razón por la que se ha optado hasta el momento por referirnos a ella a través del manejo que logran los alumnos de las competencias básicas para el aprendizaje, expresadas fundamentalmente por el dominio del lenguaje y el cálculo básico, llegando en casos más avanzados a las ciencias naturales o exactas, y muy excepcionalmente a las ciencias sociales.”

Lo cual no nos exime de reconocer -siguiendo lo expresado por la misma fuente-, que “Los distintos enfoques de la calidad de la educación tienen sus raíces en las distintas corrientes del pensamiento pedagógico. Los planteamientos humanistas, las teorías del behaviorismo, las críticas sociológicas de la educación y los cuestionamientos de las escuelas del colonialismo han enriquecido los debates sobre la calidad y han generado visiones diferentes de la manera en que se deben alcanzar los objetivos de la educación.”

Visto lo anterior y lo que la mayor parte de las investigaciones cuantitativas realizadas en el mundo en los últimos años indican, en cuanto a lo multifactorial y multidimensional del fenómeno educativo, resalta la dificultad de usar con rigor y exactitud los términos “MEJOR” o “PEOR”, en cuanto a juzgar así a tal o cual país en función de los resultados simples de este tipo de ejercicios como se hace frecuentemente en algunos medios masivos de comunicación u otros escenarios, de la misma forma que tampoco se puede hacer juicios de valor de esa forma en casi ninguno de los diferentes niveles de desagregación posibles, como lo son, las provincias o estados dentro de los países, los municipios, los sectores educativos, las zonas escolares, las escuelas mismas, los grupos o hasta los alumnos en particular, en virtud de que más allá de sus esfuerzos y voluntad, generalmente gravitan sobre sus resultados otras variables, que aun cuando no necesariamente son determinantes, sí, insisto, tienen una gran influencia en ellos.
La expresión “MEJOR” en tanto adjetivo calificativo, el diccionario de la Lengua Española nos indica en su primera acepción que:

Del lat. melior, -ōris.
1. adj. Superior a otra cosa y que la excede en una cualidad natural o moral.

Decir “MEJOR” o “PEOR” lleva una connotación de superioridad o inferioridad cualitativa entre quienes son comparados, a los cuales se les imputa una condición inicial de igualdad, lo cual en este caso no es así. Los países y por ende los distintos niveles de desagregación posibles no son necesariamente iguales, no son “MEJORES” o “PEORES” en relación a los otros a partir de estos puntajes, en virtud de que sus puntos de partida y circunstancia son o pueden ser diametralmente distintos.

Por todo lo anterior, los términos que se usan en este texto hasta aquí, son “MAYOR” o “MENOR”, los cuales hacen referencia a una medición referida a un mismo patrón, tal cual la altura o el peso de los individuos es “MAYOR” o “MENOR” con respecto al patrón METRO o KILOGRAMO, sin que ello suponga a priori ningún juicio de valor cualitativo en sí. Ello no implica renunciar a tratar de aproximarnos a mediciones más finas que nos den una idea más cercana a la sustancia cualitativa del fenómeno, lo cual en un ensayo de esta magnitud no se pueda lograr, pero sí buscaremos abrir el debate a otro tipo de mirada que “empareje la cancha” un poco para todos, permitiendo comparaciones quizá más justas y realistas, que nos lleven a conclusiones y por ende a decisiones mejor informadas.

Dicho lo anterior y tomando en cuenta que el factor externo que más influencia tiene en los resultados de evaluaciones estandarizadas como PISA, es el “capital cultural de las familias”[22] de los sustentantes y que el principal predictor de dicho capital es la educación promedio de sus padres[23], hemos buscado un indicador que podamos equiparar a dicho predictor, encontrando que el más consolidado, consistente, válido, confiable y comparable que existe a nivel de países, es el Índice de Desarrollo Humano (IDH) que genera el PNUD, por lo que a falta de otro mejor, más adelante haremos algunas correlaciones y regresiones donde el IDH será la variable independiente y el puntaje promedio de los países en Matemática de PISA será la variable dependiente, con lo cual podremos extraer las diferencias de los puntajes de los países en PISA por encima o por debajo de lo que sería esperable en función del nivel de su IDH.
Así entonces y a manera de introducción empezaremos por hacer unas puntualizaciones sobre el IDH en relación a los mismos años de la aplicación de PISA que hemos venido analizando, 2000 y 2015.

Gráfico 5. Comparativo de IDH 2000 y 2015[24]

Gráfico 6. Diferencias del IDH 2000 y 2015[25]

De los dos gráficos anteriores se puede entrever lo siguiente:
1.       Para los países de la comparación, el comportamiento del IDH al igual que los puntajes de PISA son ambivalentes durante el periodo, unos suben y otros bajan.
2.       Con independencia de lo anterior, México es el cuarto país con el mayor decrecimiento de toda la comparación con - 0.034, tan solo por detrás de Bélgica – 0.043, Portugal – 0.037 y Finlandia – 0.035. Lo anterior pudiera ser un indicio de llamar la atención que indica un deterioro paulatino de las condiciones de desarrollo humano del país.
3.       Lo anterior también pudiera ser reflejo de estancamiento en el peor de los casos, o pudiera interpretarse con la ley de rendimientos decrecientes, que daría cuenta de un “efecto techo”, donde a más alto IDH corresponde mayor dificultad para crecer, hipótesis cuestionable, ya que en esa misma condición debería de estar Noruega (0.007) y Suiza (0.011).
4.       Especial atención merece Chile, con un incremento del IDH del orden de 0.016, ubicándose como el séptimo país con el mayor crecimiento de los países de la comparación, solo después de Albania (0.031), Hong Kong -China- (0.029), Federación de Rusia (0.023), Polonia (0.022), República Checa (0.029) y República de Corea (0.019), lo cual no es despreciable si consideramos que la mayor parte de estos países pertenecen a la OECD.
Dejaremos hasta aquí las elucubraciones que estos datos simples nos pueden provocar con respecto al IDH, para pasar al tema que nos ocupa, los resultados de PISA 2000 y 2015 controlados por el IDH de los mismos años.
Empezaremos entonces por el análisis por cada uno de los dos años, primero 2000 y después 2015, para posteriormente analizarlos conjuntamente.



Grafico 7. Dispersión de países en función del puntaje de PISA y el IDH del año 2000.[26]

Tabla 1. Ordenamiento de países por el puntaje diferencial entre lo esperado según su IDH 
2000 y lo realmente obtenido en PISA 2000 (Índice de Esfuerzo Escolar IEE o Residuos[27]).
 
Del Gráfico 7 y su consecuente Tabla 1, entre otras cosas se puede intuir que:

1.       Este gráfico y su tabla incluyen todos los países y economías que participaron en PISA 2000 y para los cuales existe el IDH para el mismo año.
2.       El R² del ejercicio es de 0.6161, lo cual da cuenta de una correlación lineal importante entre ambas variables, por lo que se confirma el IDH como un buen predictor del puntaje de PISA; dicho coloquialmente “más de la mitad de las variaciones de los puntajes de PISA, se explican por el IDH”.
3.       Por otra parte, si partimos del supuesto de que el Residuo resultante corresponde a la diferencia entre el puntaje esperado de cada país dado su IDH (línea de regresión o pronóstico. Línea verde punteada) y el puntaje realmente logrado, se puede considerar que el mismo, representa lo que el sistema educativo aporta o deja de aportar al rendimiento educativo reflejado en los puntajes PISA, lo que el autor propone que sea considerado como el Índice de Esfuerzo Escolar (IEE)[28].
4.       Dicho lo anterior, se puede plantear como hipótesis que esto nos acerca más a una medición de los MEJORES Y PEORES puntajes y no tan solo de los MAYORES y MENORES como hasta ahora.
5.       Considerando el IEE, las posiciones cambian en relación al ordenamiento original publicado por PISA.
6.       En el extremo superior del nuevo ordenamiento por IEE (los 5 primero lugares), Hong Kong y Corea, 1° y 3° lugares originalmente, no varían en su posición, o sea que son países que obtienen un puntaje alto y además se alejan positivamente del puntaje esperado en función de su IDH; en tanto que Japón pasa del 2° al 6° lugar, Nueva Zelanda del 4° al 8° y Finlandia del 5° al 12, países cuyo puntaje obtenido es superior al esperado.
7.       Por contrapartida en el otro extremo del ordenamiento, donde los puntajes logrados son más distantes negativamente a los esperados, el nuevo ordenamiento por IEE igualmente observa ciertas consistencias y algunas sorpresas. En cuanto a las primeras Perú 38° sigue en el mismo lugar, Argentina que era el 32 baja al 37 y Brasil lugar 37 originalmente sube al 32 por IEE, en tanto que Chile baja del 34 al 38 y Luxemburgo del 28 al 36.
8.       Con independencia de los comportamientos de los primeros y últimos cinco lugares vistos en los dos puntos anteriores, es prudente llamar la atención de los casos más extremos, aquellos que tienen las mayores diferencias entre lo logrado y lo esperado según su IDH. En primer término, está Hong Kong, que presenta la mayor diferencia positiva con +77.787, indicio de ser el mejor sistema educativo en el año 2000 de los países incluidos en ese ejercicio; en tanto que Perú con una diferencia de -90.416 podría considerarse el sistema más ineficaz de la comparación en PISA 2000. Así mismo, en términos de cambio en su posición relativa, el país que muestra mayor ascenso es Indonesia que ascienden 27 posiciones, de la 36 a la 9, en tanto el país que pierde más posiciones es Bélgica que pierde 11 lugares, cambia del lugar 10 al 21.
9.       En el caso de México la diferencia entre los 387 puntos logrados en PISA 2000 y lo esperado 417.10 según su IDH es de -30.098 puntos, o, dicho de otra forma, su IEE es de -30.098, lo cual quiere decir que el sistema educativo mexicano está a 30.098 puntos de lograr el rendimiento que le es esperable según su nivel del IDH.
10.   Por otra parte, si se analiza el comportamiento de México dentro de todos los países, hay un cambio en su posición relativa por IEE, donde pasa de la posición 33 a la 30, lo cual matiza las aseveraciones de que nuestro país es el “peor” sistema educativo de la OECD, ya que por IEE en 2000 está por encima de Grecia, Italia, Israel, Chile y Luxemburgo, países todos actualmente pertenecientes a la OECD.


Visto lo anterior, procederemos a hacer el mismo ejercicio, para 2015 a los efectos de aportar más elementos al análisis y así ir acercándonos a una visión más completa y comprensiva de un fenómeno de suyo complejo.


Grafico 8. Dispersión de países en función del puntaje de PISA y el IDH de 2015[29].




Tabla 2. Ordenamiento de países por el puntaje diferencial entre lo esperado según su IDH 2015 y lo realmente obtenido en PISA 2015 (Índice de Esfuerzo Escolar IEE o residuos[30]).

Del Gráfico 8 y su consecuente Tabla 2, entre otras cosas se observa que:

1.       Este gráfico y su tabla incluyen todos los países y economías que participaron en PISA 2015 y para los cuales existe el IDH para el mismo año.
2.       El R² del ejercicio para 2015 es de 0.7386 lo cual nuevamente da cuenta de una correlación lineal importante entre ambas variables, por lo que se reconfirma el IDH como un buen predictor del puntaje de PISA.
3.       Siguiendo el mismo criterio de análisis que se hizo para 2000, considerando el IEE las posiciones cambian para 2015 en relación al ordenamiento original de la OCDE al igual que en aquel año.
4.       En el extremo superior del nuevo ordenamiento por IEE (los 5 primero lugares), Hong Kong[31], Japón y Corea varían poco en su posición, Hong Kong baja del 1° al 2° lugar, Japón baja del 2° al 3° y Corea baja del 3° al 5° lugar; en tanto se incorporan a este nivel de análisis Rusia y Polonia, el primero que pasa del lugar 16 al número 1 y Polonia que pasa del lugar 11 al 4 por IEE.
5.       En el otro extremo del ordenamiento, donde los puntajes logrados son más distantes negativamente a los esperados, el nuevo ordenamiento por IEE observa igualmente ciertas consistencias y algunas sorpresas. En cuanto a las primeras, los países que ocupaban los últimos lugares cambian de la siguiente forma: Australia pasa del 15 al 34, Israel 28 al 35, Estados Unidos 27 al 36, Brasil 38 al 37 y lastimosamente Chile del 32 al 38.
6.       Con independencia de los comportamientos de los primeros y últimos cinco lugares vistos en los dos puntos anteriores, es prudente llamar la atención sobre los casos más extremos, aquellos que tienen las mayores diferencias entre lo logrado y lo esperado según su IDH, o sea, por IEE.
En primer término, está La Federación Rusa con un IEE de + 51.17, país que se puede considerar con el sistema educativo que más aporta a la mejora educativa; posteriormente sigue Hong Kong, que mantiene además de un alto puntaje, una diferencia considerable entre lo logrado y lo esperado según su IDH +43; a ellos con diferencias superiores a un ¼ de Desviación Estándar le sigue Japón +34.730, Polonia +33.129, Corea +27.830 y Portugal +27.728. En tanto que, en el extremo opuesto, están Chile con – 43.472, Brasil – 38.324, Estados Unidos – 36.620 e Israel con – 25.070, todos con una diferencia negativa superior a un cuarto de Desviación Estándar.
Por último, complementariamente a lo anterior conviene mencionar, que los países que más lugares avanzan por IEE son Indonesia con 24 lugares del 37 al 13 y Tailandia del 33 al 21; en tanto que los que retroceden más lugares son Noruega y Australia, ambos con –19 lugares, del 12 al 31 y del 15 al 34 respectivamente.
7.       El caso de Chile es de llamar la atención, ya que aun cuando su cambio de posición no es muy pronunciado, pasando del lugar 32 al 38, los - 43.472 puntos entre lo logrado (423) y lo esperable según su IDH (466.47), parecen dar cuenta de ser el país en que su sistema educativo más resta a la mejora educativa. Dicho de otra forma, mientras por un lado en los 15 años de la comparación es de los países que más ha incrementado su IDH, por el otro es el que más lejos está de lo esperable en materia del rendimiento educativo evaluado por PISA 2015.
8.       En el caso de México, al considerar el IEE, se destaca que pasa del lugar 35 original del ordenamiento de PISA 2015, al 29, o sea que avanza 6 lugares y queda a tan solo – 11.724 puntos por debajo del esperable según su IDH, lo cual nuevamente es un indicio de que hay tareas pendientes en esta materia, pero nuevamente desmiente las aseveraciones de que nuestro país es el “peor” sistema educativo de la OECD, al quedar por encima de Islandia, Noruega, Perú, Grecia, Australia, Israel, Estados Unidos, Brasil y Chile, de los cuales solo Perú y Brasil no pertenecen a dicha Organización.

Llegados a este punto, hagamos ahora un análisis combinado del IDH y PISA 2000 y 2015.




Grafico 9. Dispersión de países en función del puntaje de PISA y el IDH de los años 2000 y 2015[32].




Tabla 3. Ordenamiento comparativo de países 2000 y 2015 por IDH, puntaje PISA y IEE.

De la gráfica 9 y tabla 3 comparativa anteriores, se puede comentar que:
1.       Solo se incluyen los países o economías que participan tanto en PISA 2000 como en PISA 2015 y que además tienen IDH.
2.       Aun cuando se observa cierta consistencia en el comportamiento de los dos ejercicios, las líneas de regresión no se sobreponen, ni son estrictamente paralelas, lo cual se puede interpretar de la siguiente forma:
a.       Las líneas de regresión reflejan el incremento generalizado del IDH por lo que 2015 parte de un valor superior a la de 2000.
b.       Así mismo, dichas líneas son de diferente longitud debido a la reducción en la dispersión de los valores del IDH entre 2000 y 2015.
c.       La línea de regresión de 2000 es más vertical que la de 2015, en virtud de que los puntajes de PISA parte de valores inferiores, pero por otro lado se observan valores más altos a los de 2015, lo que es evidencia de la homogeneización de los resultados.
3.       Los mejores comportamientos de la comparación 2000-2015 en tanto la distancia entre lo esperado y lo logrado, con cifras superiores a más de ½ Desviación Estándar, figuran[33]: Perú +69.79, Luxemburgo +53.88 y Portugal +50.28; mientras que en el extremo opuesto con diferencias negativas que alcanzan a superar ¼  Desviación Estándar pero no más de ½, están: Nueva Zelanda –43.13, Corea -41.20, Australia -37.76, Hong Kong con -34.76 y Hungría con –26.72.
4.       En el caso de México, en este análisis comparativo se aprecia un aumento de 21 puntos de PISA entre 2000 y 2015, incremento que se potencializa si se considera que en el mismo periodo su IDH baja de 0.796 a 0.762, lo cual es congruente con el avance en la reducción entre lo logrado y lo esperado que se observa en la comparación, equivalente a +18.37 puntos de IEE. Dicho de otra forma, México en el periodo comparado pasa de estar - 30.098 puntos por debajo de lo esperado según su IDH en 2000, a solo - 11.724 en 2015; todo lo cual es una clara evidencia de que su educación ha mejorado en el periodo, pero que aún sigue por debajo de lo que se esperaría en función de su IDH.

Por último, conviene mostrar los resultados generales de PISA 2015 sin vincularlos a 2000, en virtud de que en ellos se observan datos en extremo interesantes a nivel global.

Gráfico 10. Dispersión de países en función del puntaje de PISA y el IDH de 2015 (todos los países participantes en 2015, sin importar que hayan participado en 2000)

Tabla 4. Ordenamiento de países que participaron en PISA 2015, sin que necesariamente hayan participado en PISA 2000.

Del gráfico 10 y tabla 4 de resultados globales 2015 se puede observar lo siguiente:
1.       Quizá de este último análisis, lo más relevante es la gran distancia que guarda VIETNAM entre el puntaje obtenido en PISA 2015 (415) y el pronosticado o esperable en función de su bajo IDH (370.27), lo cual equivale a un IEE 124.73, hecho que da cuenta de que el sistema educativo vietnamita es el más eficaz de todos los sistemas involucrados en esta evaluación, lo cual ya había sido detectado por el autor de este ensayo desde los resultados de 2012[34]. Importante es hacer notar que se emplea el término eficaz y no eficiente, no porque no lo sea, sino porque en la ecuación de este análisis no se incluye la variable costo de la educación, sino solamente los resultados de PISA y el IDH.
2.       En este mismo orden de ideas, es de destacar la dimensión de la diferencia antes aludida, ya que representa más de una Desviación Estándar, o sea más de 100 puntos en la escala de PISA, +124.73; dimensión que en otros estudios equivale a la diferencia del rendimiento promedio entre un grado y otro[35].
3.       En el caso de México, al incorporar en el análisis a los países que no participaron en PISA 2000, en términos de IEE, recupera 14 posiciones pasando del lugar 52 a la 38, quedando a tan solo -7.81 puntos de lo que se espera del país en función de su IDH, dato que se suma a las demás evidencias expuestas en este ensayo en el sentido de que la educación mexicana ha mejorado y cada ejercicio de PISA se acerca más a lo esperable según su IDH.


Conclusiones.

1.       El Programa Internacional para la Evaluación de Estudiantes, PISA, es sin duda el referente de mayor cobertura en materia de evaluación de los aprendizajes a nivel internacional.
2.       Más allá de lo multifactorial y multidimensional del fenómeno educativo, los resultados de PISA son un buen indicio sobre los niveles de rendimiento educativo en los países participantes.
3.       Con independencia de lo dicho en los dos puntos anteriores, PISA no debe de ser considerado como el reflejo absoluto de lo que está sucediendo en el mundo en materia educativa, en virtud de su poca representatividad y notorio sesgo por tipo de países participantes.
4.       Los resultados de PISA de ninguna manera reflejan el esfuerzo, ni la eficacia de los sistemas educativos de los países que participan, a menos de que se controlen por algunas variables o índice que represente los factores exógenos al esfuerzo escolar que afectan directamente su comportamiento en este tipo de evaluaciones.
5.       Sin menoscabo de lo relativo de estos resultados, los mismos si reflejan el lugar que los sistemas ocupan en cuanto a rendimiento educativo, en términos de lo que se conoce coloquialmente en el sector como “las carreras de caballos”, en el sentido de que indican quien obtiene los mayores o los menores puntajes sin importar sus puntos de partida, ni condiciones en que se da el hecho educativo.
6.       Estudios como PISA ponen de manifiesto la necesidad de diferenciar entre los MAYORES o MENORES puntajes y los MEJORES y PEORES puntajes, priorizando en sus informes estos últimos por ser los que de mejor forma dan cuenta del esfuerzo que hacen los sistemas por educar a su sociedad.
7.       No efectuar lo dicho en el párrafo anterior generalmente tiende a sobredimensionar a los países cuyas poblaciones tienen mejores condiciones de inicio, en tanto por el contrario se estigmatizan a aquellos cuyas condiciones de partida son en extremo más difíciles, complicadas o hasta en algunos casos verdaderamente negativas para educar a sus pueblos.
8.       La aseveración citada en el punto anterior (7), es aplicable a todos los niveles de desagregación que estos resultados pueden generar, así como para las evaluaciones nacionales que se realicen en cada país.
9.       Considerando todo lo dicho en las conclusiones que anteceden, así como las evidencias duras que se han puesto de manifiesto en todo el ensayo, México, de ninguna manera puede ser considerado como el país de la OECD que tiene el sistema educativo más ineficaz de los que pertenecen a la misma.
10.   Así mismo, considerando que los instrumentos aplicados en 2000 y 2015 sean equivalentes, la evidencia mostrada en este ensayo demuestra más allá de una duda razonable, que el sistema educativo de México ha mejorado sustantivamente su rendimiento en más de un quinto de desviación estándar sobre su puntaje de 2000 en 2015. México en cuanto a la brecha (IEE) entre su puntaje esperable dada su mezcla social (IDH) y el puntaje verdaderamente logrado, de 2000 a 2015 ha reducido en 22 puntos de la escala de PISA, logrando situarse a tan solo 7.81 puntos por debajo de lo esperable, lo cual es una evidencia clara de mejora.
11.   A nivel Internacional este tipo de interpretaciones dan cuenta de lo que a últimas fechas se empieza a reconocer, Vietnam es con mucho es sistema educativo más eficaz de todos los que participan en PISA 2015, lo cual debiera dar pie a un cambio en el foco de la atención de las autoridades educativas mexicanas hacia lo que está pasando en este país, país con quien guardamos más similitudes en términos de IDH, pero que logra los resultados más destacables en materia educativa de todo el estudio, y dejar de seguir fijando la atención hacia países cuyos resultados considerando su IDH no son tan destacables, además de que su realidad socio-económica es diametralmente distinta a la nuestra, o sea, Finlandia.
12.   Así mismo, a partir de estas interpretaciones es evidente que pertenecer o no a la OCDE de ninguna manera es sinónimo de un buen sistema educativo, por lo que las interpretaciones planas y descontextualizadas que se hace de los resultados de PISA en los medios masivos de comunicación y en algunos círculos de “disque” expertos educativos, es equivocada y desconoce el carácter eminentemente cultural del fenómeno educativo, llegando en ocasiones hasta interpretaciones de mala fe, maniqueas y amarillistas.
13.   En los últimos años, México, la región y una buena parte de la comunidad internacional se han dado a la tarea de desarrollar sistemas de evaluación educativa, los cuales en opinión del autor de este ensayo, están “al debe”; si bien como refleja este ensayo, hay avances en los niveles de aprendizaje que reflejan, no existe evidencia dura alguna que nos indique que dichos avances deriven directamente de su existencia; son inversiones millonarias y parece ser que su utilidad se ha concretado únicamente a mostrar resultados y en el mejor de los casos esos avances, sin que su existencia abone a favorecerlos, por lo que se hace necesario innovar en su forma de presentarlos, interpretarlos, difundirlos y usarlos, a los efectos de que ellos generen por sí mismos inercias en el sector educativo hacia la mejora.
14.   Con independencia de todo lo anterior, es recomendable -como ya se dijo anteriormente-, realizar un análisis longitudinal de los resultados de PISA de todas sus aplicaciones y disciplinas a los efectos de validar los hallazgos aquí descritos y obrar en consecuencia.
15.   Complementariamente conviene llamar la atención al deterioro del Índice de Desarrollo Humano que ha observado México en el periodo, mismo que más allá del análisis de los resultados de PISA, pone de manifiesto otro problema en materia educativa que es con mucho el más relevante que afronta el país, el rezago educativo, considerado como la cantidad de población de 15 años de edad o más que no ha terminado su educación básica, la cual se calcula en más de 30 millones de personas, con mucho el mayor problema de la educación mexicana y al cual se dedica un mínimo de recursos.
16.   Finalmente, más allá de los análisis descontextualizados de estas investigaciones y del énfasis que se le da a los resultados brutos de las mismas, es necesario continuar participando en estos ejercicios, ya que los mismos nos alejan de las visiones endogámicas que tanto daño hicieron a nuestro desarrollo educativo en años pasados, facilitándonos la comparación con los otros, que aun cuando somos distintos, nos permite ubicarnos en un contexto más amplio y reconocer si avanzamos o retrocedemos en un mundo eminentemente competitivo, donde todos los países buscan mejorar sus niveles de rendimiento educativo.
En definitiva, este texto de ninguna forma pretende erigirse como el “modelo”, ni mucho menos la síntesis de los propios hallazgos de la OCDE o de otros prestigiados investigadores, sino que lo que busca es aportar una visión distinta a la interpretación de los resultados de este tipo de ejercicios; rescatar información que dé cuenta de evidencias claras y contundentes de que el sistema educativo mexicano ha avanzado -o si fuera lo contrario, también mostrarlo-; que si bien, sigue por debajo de lo que sería esperable de él en función de la mezcla social del país, se ha avanzado; que dicho avance nos es menor; que todo lo cual de ninguna manera quiere decir que se deban “echar las campanas al vuelo”, sino que hay que redoblar el paso, continuar con los esfuerzos de reforma que devuelvan al sistema transparencia, racionalidad e incorporen en sus decisiones la innovación pensada e inteligente que se base en evidencias y no únicamente en ecuaciones políticas. México heredero de culturas milenarias merece un lugar acorde a ellas, lo cual no se logrará tan solo con buenos deseos, “patrioterismos” desgastados o verdaderas mentiras de política, se hacen necesarios esfuerzos continuados, inteligentes y debidamente soportados en la evidencia científica.
Por otra parte, es innegable que estos ejercicios son valiosos, pero si y solo si, trascienden hasta el espacio privilegiado donde se da el hecho educativo, EL AULA y LA ESCUELA[36]; mientras esto no suceda, no dejarán de ser meros esfuerzos académicos dirigidos tan solo a expertos, investigadores y periodistas que hagan uso de los mismos para su mejor conocimiento o para denostar esfuerzos y logros. México merece al menos una educación que sea acorde a su nivel de desarrollo humano. Ese es el objetivo inicial, lo demás aun cuando pueda conllevar la mejor buena voluntad, no pasará de ser mera retórica –en su sentido más pobre-, condenando a las nuevas generaciones a romper el comportamiento primigenio del sentido de la palabra civilización, el cual supone por sí mismo que cada generación supere tecnológica, científica y educativamente a la anterior. Queda pues el reto para la evaluación educativa de transformarse en un verdadero motor de cambio en educación.  



Bibliografía.

Competencias para la vida. Unidad de Currículum y Evaluación, Ministerio de Educación de Chile Resultados de los estudiantes chilenos en el estudio PISA 2000. www.oei.es/historico/quipu/chile/informe_pisa2000.pdf

Instituto Nacional para la Evaluación de la Educación, INEE, “LOS CUATRO PRIMEROS AÑOS. AVANCES Y DESAFÍOS”. México 2006.

OECD (2001), PISA 2000 Knowledge and Skills for Life Firrst Results from the OECD Programme For International Student Assessmente (PISA) 2000. http://www.oecd-ilibrary.org/docserver/download/9601141e.pdf?expires=1497889076&id=id&accname=guest&checksum=4F01539A9F9E506171CE3E8D72EEB6BC

OECD (2016), PISA 2015 Results (Volume I): Excellence and Equity in Education, PISA, OECD Publishing, Paris, http://dx.doi.org/10.1787/9789264266490-en

Oppenhaimer, Andres. “¡BASTA DE HISTORIAS! La obsesión latinoamericana con el pasado y las 12 claves del futuro” Editorial DEBATE, 2010.

Palafox, J.C. “Mitos y realidades de la No SELECCIÓN en educación. Un debate chileno, visto desde una experiencia mexicana.”
-            Revista Análisis Público de la Escuela de Administración Público, Universidad de Valparaíso, Chile, Número 5, 2015 http://issuu.com/analisispublico/docs/an__lisis_p__blico_n__5-2015_8029eb958cdb7f?e=0/14166023#search  ;  y,
-            Revista de Educación y Cultura AZ. (1ª. Parte) Número 91. marzo 2015 http://www.educacionyculturaaz.com/091/091-AZMARZO2015.pdf  . (2ª. Parte) Número 92. abril 2015 http://www.educacionyculturaaz.com/092/092-AZABRIL2015.pdf

Palafox, J.C., et al. “La Disputa por la educación. Por el México que queremos”. Editorial Aguilar. Nov. de 2011.

Palafox, J. C., Prawda J. y Vélez E. “Primary School Quality in Mexico”:
-        Banco Mundial en su serie A Views from LATHR, No. 33. Edición en inglés Nov. 1992. http://www.jstor.org/pss/1189030  
-        University Chicago Press, en Comparative Education Review, Vol. 38, No. 2. pp. 167-180, Edición en inglés May 1994. http://www.jstor.org/pss/1189030   

UNESCO, “Primer Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados”, Primer Informe e Informe Técnico, Santiago, Chile. 2000.

UNESCO, Resumen del Informe de Seguimiento de la EPT en el Mundo 2015. LA EDUCACIÓN PARA TODOS, 2000-2015: LOGROS Y DESAFÍOS http://unesdoc.unesco.org/images/0023/002325/232565s.pdf

United Nations Development Programme. REPORT 2002 Deepening democracy in a fragmented world. (UNDP) New York, Oxford. Oxford University Press. 2002
United Nations Development Programme. Report 2016. Human Development for Everyone. (UNDP) http://hdr.undp.org/sites/default/files/2016_human_development_report.pdf
Verónica Edwards Risopatron, “El Concepto de Calidad de la Educación”. UNESCO 1991.




* El autor de este ensayo ha sido consultor internacional en temas de planificación, sistemas de información y evaluación educativa en organismos como la UNESCO, la OEI, el Preal y el Banco Mundial, y de los Ministerios de Educación de Argentina, Bolivia, Chile, Ecuador, El Salvador, México y Uruguay; así mismo, asume la responsabilidad total por lo aquí expresado y manifiesta que no necesariamente refleja el punto de vista de organismo, institución o dependencia alguna. Adicionalmente, agradece a Regina Renero y a Luis Enrique Velázquez por su apoyo en el manejo de datos, la elaboración de algunos de los gráficos aquí mostrados, así como, por sus comentarios al primer borrador de este ensayo, que junto a los de la Maestra Sylvia Schmelkes Del Valle y RosaMaría Guadalupe Salgado Caamaño enriquecieron el texto.

[1] Program for International Student Assessment.
[2] Organization for Economic Co-operation and Development.
[3] México pertenece a la OECD desde el 18 de mayo de 1994. http://www.oecd.org/about/membersandpartners/list-oecd-member-countries.htm
[9] Incluyendo algunas áreas económicas que no son países en sí, tales como: Hong Kong, Macao, P S J G China y CABA Argentina.
[10] En el caso de Argentina, solo está representada la Provincia de Buenos Aires.
[11] Término muy difundido en el medio, pero que no necesariamente es muy afortunado en virtud de que todo ser humano al pertenecer a cualquier cultura, tiene por ese solo hecho un capital cultural. En este caso se entiende solo como el promedio de años de escolarización de los padres de los sustentantes.
[12] Elaboración propia con base en las dos fuentes antes citadas.
[13] Ídem.
[14] En el caso de Argentina, los datos no son comparables en virtud de que la primera aplicación hizo referencia al país, en tanto la segunda, explícitamente se refiere a la provincia de Buenos Aires.
[15] La comparabilidad de las áreas menores no es un atributo riguroso como el del área de mayor énfasis de cada año, lo cual el autor deja de lado para plantear la comparación simple de los primeros datos publicados por PISA en 2000 con 2015.
[16] Ejemplo: Andrés Oppenhaimer en “¡BASTA DE HISTORIAS! La obsesión latinoamericana con el pasado y las 12 claves del futuro”, extraordinario periodista que no necesariamente es especialista en educación.
[17] Se recomienda hacer un ejercicio longitudinal que permita reconocer comportamientos más consistentes a lo largo de todos los años de la aplicación de PISA: 2000, 2003, 2006, 2009, 2012 y 2015.
[18] Igualmente puede ser la expresión del fenómeno estadístico llamado “regresión a la media”, que ocurre con una aplicación recurrente de un instrumento. Puntualización sugerida por la Mtra. Sylvia Schmelkes.
[19] Verónica Edwards Risopatron, “El Concepto de Calidad de la Educación”. UNESCO 1991.
[20] Organización de las Naciones Unidas para la Educación la Ciencia y la Cultura.
[22] Término muy difundido en el medio, pero que no necesariamente es muy afortunado en virtud de que todo ser humano al pertenecer a cualquier cultura, tiene por ese solo hecho un capital cultural. En este caso se entiende solo como el promedio de años de escolarización de los padres de los sustentantes.
[23] Lo cual ya desde principios de la década de los 90’s del siglo pasado fue detectado en México en: “Primary School Quality in Mexico” Coautoría de: J. C. Palafox, J. Prawda y E. Vélez. Publicado por:
-               University Chicago Press, en Comparative Education Review, Vol. 38, No. 2. pp. 167-180, Edición en inglés May 1994. http://www.jstor.org/pss/1189030  
-               Banco Mundial en su serie A Views from LATHR, No. 33. Edición en inglés Nov. 1992. http://www.jstor.org/pss/1189030 
[25] Fuente: Ídem.
[26] Elaboración propia con base en las fuentes antes citadas.
[27] Para el cálculo de los residuos al autor utilizó el Software SPSS 2016.
[28] Palafox, J.C., "El futuro de la educación mexicana, apoyado en su pasado y visto desde su presente" En el libro “La Disputa por la educación. Por el México que queremos”. Editorial Aguilar. pp 293-333 http://www.librosaguilar.com/mx/libro/la-disputa-por-la-educacion/  Edición en español, Nov. de 2011.
[29] Elaboración propia con base en las fuentes antes citadas.
[30] Para el cálculo de los residuos al autor utilizó el Software SPSS 2016.
[31] En esta medición están incluidos además de países, algunas economías autónomas que forman parte de países, pero no representan al país en su totalidad.
[32] Fuente: Elaboración propia con base en las fuentes antes citadas.
[33] No se considera Argentina, por lo ya dicho anteriormente, ya que la primera aplicación fue nacional y la segunda solo de Buenos Aires.
[34] Este comportamiento de Vietnam ya fue demostrado con anterioridad por el autor de este ensayo, en el análisis que hizo de los resultados de PISA 2012 publicados en:
·       Revista Análisis Público de la Escuela de Administración Público, Universidad de Valparaiso, Chile, Número 5, pp 113 a 132, julio 2015 http://issuu.com/analisispublico/docs/an__lisis_p__blico_n__5-2015_8029eb958cdb7f?e=0/14166023#search ;  y,
·       Revista de Educación y Cultura AZ. (1ª. Parte) Número 91. pp 36 a 41. marzo 2015 http://www.educacionyculturaaz.com/091/091-AZMARZO2015.pdf . (2ª. Parte) Número 92. pp 36 a 41. abril 2015 http://www.educacionyculturaaz.com/092/092-AZABRIL2015.pdf
[35] Primer estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados en tercero y cuarto grado de educación básica. Laboratorio Latinoamericano de Evaluación de la Calidad Educativa (LLECE).  UNESCO 1998. https://s3.amazonaws.com/archivos.agenciaeducacion.cl/documentos-web/Estudios+Internacionales/TERCE/Primer+informe+1998.pdf
[36] Idea ya planteada por el autor de este ensayo en el libro “LOS CUATRO PRIMEROS AÑOS. AVANCES Y DESAFÍOS”. Publicado por el Instituto Nacional para la Evaluación de la Educación, INEE, en 2006. http://publicaciones.inee.edu.mx/buscadorPub/P1/D/208/P1D208.pdf; donde en su intervención registrada en la página 48, expresó: “En cuatro años de vida del Instituto se han alcanzado metas que con anterioridad ni siquiera se planteaban como factibles, hoy día son realidades que vislumbran nuevos retos y que obligan a pensar en el logro ulterior de la evaluación como motor de cambio en educación. Se ha alcanzado mucho y es necesario seguir caminando hasta lograr que el conocimiento, la cultura y la transformación lleguen al interior de esas “cuatro paredes” donde se da el hecho educativo, al aula, al grupo, al docente, a las y los niños y jóvenes; si se logra, entonces se habrá cumplido.”