Este texto fue publicado por la Universidad Autónoma de Nayarit en el libro "Problemas Publicos y Ciencias Sociales Reflexiones para una gobernanza inclusiva", con el título " Las Evaluaciones educativas estandarizadas y las definiciones de políticas públicas en Educación", páginas 205 a 251.

https://www.researchgate.net/profile/Carlos-Haefner/publication/366809827_Problemas_Publicos_y_Ciencias_Sociales_Reflexiones_para_una_gobernanza_inclusiva/links/63b305a6c3c99660ebc27a9f/Problemas-Publicos-y-Ciencias-Sociales-Reflexiones-para-una-gobernanza-inclusiva.pdf

PISA 2000 – 2018. "Las Evaluaciones educativas estandarizadas y las definiciones de políticas públicas en Educación”[1]

Si es un milagro, cualquier testimonio es suficiente, pero si es un hecho, es necesario probarlo.

Samuel Langhorne Clemens (Mark Twain).

Autor: Juan Carlos Palafox Pérez de Salazar[2]

Resumen: Por su relevancia en la valoración social de los resultados de la educación en el mundo, este ensayo argumentativo a partir de ciertos antecedentes desarrolla un análisis comparativo de los resultados en Matemática de las emisiones de 2000 y 2018 del Programa para la Evaluación Internacional de Alumnos (PISA, por sus siglas en inglés), como variable dependiente. Asimismo, para contextualizar la dinámica de dichos resultados educativos, el autor cruza los resultados de PISA con el Índice de Desarrollo Humano (IDH) de los mismos años, como variable explicativa, exógena a los sistemas educativos e independiente de la OCDE al momento de la aplicación. El propósito de este análisis es lograr una interpretación más comprensiva de estos resultados, su comportamiento histórico y los hallazgos que pueden aportar este tipo de estudios más allá de interpretaciones demasiado sofisticadas o complejas, o también, sesgadas o parciales del fenómeno educativo, como una forma de apoyar las definiciones de políticas públicas en educación.

Palabras clave: evaluación educativa, PISA, análisis comparativo, desarrollo económico y social, educación.

Abstract: Due to its relevance in the social assessment of the results of education in the world, this argumentative essay based on certain antecedents develops a comparative analysis of the results in Mathematics of the emissions of 2000 and 2018 of the Program for the International Evaluation of Students (PISA), as a dependent variable. Likewise, to contextualize the dynamics of said educational results, the author crosses the PISA results with the Human Development Index (HDI), as an explanatory variable, exogenous to educational systems and beyond their control at the time of application. The purpose of this analysis is to achieve a more comprehensive interpretation of these results, their historical behavior and the findings that this type of study can contribute beyond overly sophisticated or complex interpretations, or also biased or partial interpretations of the educational phenomenon, as a way to support the definitions of public policies in education.

Keywords: educational evaluation, PISA, comparative analysis, economic and social development, education.

Índice General

Introducción

Antecedentes. 11

I. Análisis independiente de los resultados de PISA en Matemáticas ediciones 2000 y 2018. 15

II. Análisis comparado de los resultados de PISA en Matemáticas 2000 y 2018. 20

III. Algunas consideraciones previas al análisis correlacionado de los resultados de PISA y el IDH. 25

IV. Análisis comparado del IDH 2000 y 2018. 27

V. Análisis de las correlaciones entre PISA y el IDH, para 2000 y 2018. 31

A Análisis de las correlaciones entre PISA y el IDH, para 2000. 31

B Análisis de las correlaciones entre PISA y el IDH, para 2018. 34

VI. Breve reflexión sobre los factores explicativos del rendimiento educativo de entorno escolar. 41

A. Factores asociados al rendimiento que operan negativamente. 42

B. Factores asociados al rendimiento que operan positivamente. 43

VII. Posicionamiento final. 47

A. Conclusiones. 47

B. Reflexiones. 49

Referencias. 54

Índice de Figuras

Figura 1. Ordenamiento inicial de los países según los resultados de PISA 2000 en Matemáticas.

Figura 2. Ordenamiento inicial de los países según los resultados de PISA 2018 en Matemáticas. 19

Figura 3. Puntajes en Matemáticas de los países participantes tanto en PISA 2000 y como en 2018. 22

Figura 4. Diferencias de puntajes de los resultados de PISA 2000 y 2018 en Matemáticas, solo los países que participaron en ambos ejercicios. 22

Figura 5. Correlación de los resultados en PISA 2000 y 2018. 25

Figura 6. Comparativo de IDH 2000 y 2018. 28

Figura 7. Diferencias del IDH 2000 y 2018. 29

Figura 8. Correlación de países en función el IDH del año 2000 y 2018. 30

Figura 9. Correlación los puntajes de PISA y el IDH para el año 2000. 32

Figura 10. Dispersión de países en función del puntaje de PISA y el IDH de 2018. 35

Figura 11. Dispersión de países en función del puntaje de PISA y el IDH de los años 2000 y 2018. 38

Figura 12. Impacto de los factores asociados al rendimiento educativo para una población que comparte el mismo origen socio-educativo. 43

Índice de Tablas

Tabla 1. Homologación de escalas a unidades de desviación estándar e interpolación de los resultados de TIMSS 1996 y LLECE 1997. 12

Tabla 2. Posición relativa de los países Latinoamericanos en algunos de los estudios más significativos de evaluación de los aprendizajes. 13

Tabla 3. Ordenamiento de países por el puntaje diferencial entre lo esperado, según su IDH 2000 y lo realmente obtenido en PISA 2000 (Índice de Esfuerzo Escolar [IEE] o Residuos). 32

Tabla 4. Ordenamiento de países por el puntaje diferencial entre lo esperado según su IDH 2018 y lo realmente obtenido en PISA 2018 (Índice de Esfuerzo Escolar IEE o residuos). 35

Tabla 5. Ordenamiento comparativo de países 2000 y 2018 por orden alfabético de país, incluyendo IDH, puntaje PISA y IEE. 37

Introducción

Como ya se ha hecho costumbre en los últimos 20 años –desde el año 2000–, el sector educativo, y por ende la sociedad misma, se ve cuestionada educativamente por los resultados del Programa para la Evaluación Internacional de Alumnos (PISA, por sus siglas en inglés[3]) realizado por la Organización para la Cooperación y el Desarrollo Económicos (OCDE)[4], en términos de la calidad de la educación que se imparte en los países, lo cual puede ser una expresión sobredimensionada, que en términos reales se intentará acotar más adelante.

Más allá de lo anterior, lo que no se puede poner en tela de juicio es el impacto mediático que los resultados de PISA conllevan para la opinión pública de los distintos países que participan en dicho estudio, incluyendo a México como miembro de la OCDE[5], en cuyo caso invariablemente nos vemos ubicados en el último o penúltimo lugar de los países afiliados a esa Organización, junto a Chile y en compañía –entre otros–, de los demás países latinoamericanos que no pertenecen a la OCDE pero que sí participan en PISA, todos los cuales nos ubicamos por debajo de la media de la distribución del total que participa, sean miembros o no de la OCDE.

Por esta razón, es que quien suscribe estas líneas, considera que más allá de los sesudos informes que la Organización presenta en cada ocasión, mismos que en general son sólo de uso especializado y que poco trascienden en el ámbito del espacio donde efectivamente se da el hecho educativo: la escuela, vale la pena hacer algunas puntualizaciones relacionadas con ciertos mitos y realidades que se suscitan a partir de este Programa, sólo con la intención de ubicarlo en su contexto, en su dimensión temporal y de una forma más accesible.

Así, este breve ensayo argumentativo, busca aportar otro tipo de análisis de los resultados de PISA 2018, desde una visión retrospectiva a partir de sus inicios en el año 2000, para ello comienza con esta breve introducción que enuncia brevemente el que se pretende con el texto, así como, cuál es su contenido.

Posteriormente, se hace una breve referencia a algunos antecedentes que permiten situar el tema en un contexto más amplio e independiente de PISA, no exhaustivo ni extenso, sino solo como preámbulo al tema central del texto y su predictibilidad

En un primer capítulo propiamente dicho, se muestra una interpretación básica e independiente de los dos ejercicios de PISA 2000 y 2018.

En el capítulo 2, se plantean las diferencias entre ambos ejercicios y la alta correlación que guardan sus resultados numéricos entre sí, lo cual es prueba de su confiabilidad y validez interna.

Más adelante en el capítulo tercero se presentan algunas consideraciones y reflexiones previas al análisis de las correlaciones entre los resultados de PISA y el Índice de Desarrollo Humano que elabora (IDH), construido por el Programa de las Naciones Unidas para el Desarrollo (PNUD).

En un cuarto capítulo, se hace un análisis comparado del IDH de 2002 y el de 2018, con el objeto de determinar su comportamiento histórico, así como algunos indicios de su confiabilidad y validez.

Posteriormente, , como una forma de contextualizar dichos resultados, ponderando aquello que de suyo es verdadera responsabilidad de los sectores educativos, más allá de otras variables de contexto que les afectan de manera importante y cuya responsabilidad no les corresponde en el momento de la evaluación, en el quinto capítulo se entra de lleno al análisis de las correlaciones entre los resultados de PISA y el IDH para los años de 2000 y de 2018, identificando a partir de ello, lo que el autor de este texto ha dado en llamar el Índice de Esfuerzo Escolar (IEE), que no es otra cosa que la diferencia entre el puntaje que se puede esperar de cada país en función de su mezcla social, y el realmente obtenido, de donde derivan hallazgo muy interesantes que rompen con la costumbre de los ranking acostumbrados, donde se presenta a los países a partir de sus resultados llanos sin contextualizarlos, sin considerar sus diferencias de origen, ni sus distintos puntos de partida.

En el sexto capitulo, como un complemento a los anteriores capítulos, se hace una breve reflexión sobre los factores explicativos que, si son del resorte de los sistemas educativos, en especial a partir de la primera investigación que al respecto se realizó en la región de América Latina y El Caribe por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE).

Como corolario del ensayo, se presenta el posicionamiento final del autor a través de una serie de conclusiones, recomendaciones y reflexiones que recogen los hallazgos más importantes que se desprenden de todo lo analizado y comentado a lo largo del documento, que buscan contribuir a una interpretación distinta a la que generalmente se hace de estos resultados, su comportamiento histórico y las luces que pueden aportar este tipo de estudios a partir de sus datos más simples y gruesos, sin entrar en sofisticaciones de niveles de desempeño ni cuestiones de dispersión, errores estándar, grados de libertad, etc., indicadores que si bien son más robustos y muy socorridos en la literatura especializada, en definitiva dicen poco a los lectores legos en estos temas.

Complementariamente, como corresponde a este tipo de documentos, al final de este, se dan las referencias bibliográficas que fueron tomadas en cuenta para la elaboración de este ensayo argumentativo.

Por otra parte, conviene mencionar que este texto nace a raíz de la solicitud de la Universidad Autónoma de Nayarit a través de la Unidad Académica de Ciencias Sociales, para ser incluido en el proyecto editorial denominado “CIENCIAS SOCIALES Y PROBLEMAS PÚBLICOS.REFLEXIVIDADES PARA LA COHESIÓN SOCIAL” actualmente en proceso de publicación, razón por la cual y en virtud de caducidad de los resultados de PISA2018 ante la próxima publicación de los nuevos resultados de PISA 2022, prevista para diciembre de 2023, es que este texto se publica abiertamente en el blog de http://jcpps.blogspot.com/ con el objeto de poder compartirlo y dejar constancia del comportamiento de este programa antes del COVID-19 que permitan su comparación con el que se publicará a finales del próximo año (2023).

Antecedentes.

Una síntesis muy apretada de acciones similares a los estudios de PISA objeto de este texto, pasa por plantear los dos primeros estudios internacionales “duros” de representación nacional previos a PISA 2000, en cuyo caso a escala internacional fue el Estudio de las Tendencias en Matemáticas y Ciencias (TIMSS por sus siglas en inglés) de 1995[6], el cual se aplicó al 8 grado de educación básica; y en la dimensión regional (Latinoamérica), el Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores asociados en Tercero y Cuarto Grados de educación básica en 1997[7], los cuales trajeron experiencias y algunos elementos interesantes para el tema que se desarrollará a lo largo de este documento.

Conviene mencionar que, pese a que en ambos estudios participó México, lamentablemente en el caso de TIMSS, nuestro país argumentando problemas técnicos retiró sus datos y nunca fueron publicados en forma comparada[8], argumento que inicialmente también fue esgrimido en el caso del estudio del LLECE, pero que finalmente en este segundo caso si fue posible publicar los resultados comparativamente, pero con una nota de reserva.

Lo mencionado en el párrafo anterior, es de llamar la atención y pudiera considerarse como un indicio de un manejo a modo, ocultamiento de información y manipulación de los resultados sobre este tipo de estudios por parte de la autoridad educativa de turno, pero no es pretensión de este ensayo entrar en esa discusión, pero si rescatar algunas luces que se pueden derivar de esos ejercicios en su conjunto.

Así entonces, lo primero que haremos es vincular los resultados de los dos estudios previos antes citados, a los efectos de obtener algunas primeras inferencias, que trataremos en segundo término de sustentar con el comportamiento de distintas investigaciones duras que se dieron los siguientes años, y así, en tercer término, poder sustentar alguna conclusión al respecto.

Otra consideración inicial, es que para los efectos antes citados tomaremos como base los resultados de Matemática de los estudios, ya que dicha disciplina representa menores riesgos de verse afectada por sesgos de carácter cultural; así mismo, ya que ambos estudios están expresados en escalas distintas, TIMSS con una media de 500 puntos y una desviación estándar de 100 y LLECE con 250 de media y 50 puntos de desviación estándar, es necesario transformarlas para homologarlas mediante su reducción a unidades de desviaciones estándar; de igual forma, también se hace necesario utilizar un caso como país ancla que esté presente en los dos estudios y que permita su vinculación (Colombia); para qué, a partir de todo lo anterior, sea posible interpolar ambos estudios y acercarnos a cual sería hipotéticamente la posición de todos los países latinoamericanos que participaron en LLECE 1997 junto con los que lo hicieron en TIMSS 1996, lo cual se muestra en la Tabla 1 más adelante; y posteriormente, identificar en otros estudios posteriores si la hipótesis derivada de la comparación TIMSS - LLECE se cumple o no (Tabla 2).

Tabla 1. Homologación de escalas a unidades de desviación estándar e interpolación de los resultados de TIMSS 1996 y LLECE 1997[9].

Fuente: Elaboración propia con datos de TIMSS 1996 y LLECE 1997.

En términos generales, en el cuadro anterior se puede observar y en algunos casos hipotetizar que:

1. Es posible visualizar la probable ubicación de los distintos países latinoamericanos que no participaron en el estudio del TIMSS en 1996, a partir de los resultados obtenidos por Colombia en ambos estudios;

2. La gran diferencia observada por Cuba en el estudio del LLECE 1997 con relación al resto de los países latinoamericanos, ubicaría a este país en el contexto del estudio del TIMSS 1996 dentro de los 10 países con mayores puntajes (en un cuarto lugar);

3. El resto de los países latinoamericanos, en esta nueva escala, conformarían junto con la República Islámica de Irán, Kuwait y Sudáfrica, el grupo de más bajo rendimiento educativo, (cuartil 4);

4. Partiendo de esta interpolación, México, aun cuando no permitió la publicación comparada de sus resultados en el estudio de TIMSS-96, se pudo ubicar por encima solo del antepenúltimo lugar de dicho estudio (lugar 38 de 42); y,

5. Esta interpolación, elaborada en 1998, constituyó un pronóstico sobre los posibles resultados futuros de los países latinoamericanos en posteriores estudios de carácter internacional, pronóstico que se ha confirmado invariablemente en la mayor parte de los estudios realizados hasta la fecha, mismos que en general guardan con TIMSS similitud en cuanto al tipo de países participantes.

Como apoyo a lo mencionado en el último punto, en la siguiente tabla se sintetizan los resultados de algunos de los estudios internacionales más importantes realizados hasta el día de hoy.

Tabla 2. Posición relativa de los países Latinoamericanos en algunos de los estudios más significativos de evaluación de los aprendizajes.

Fuente: Elaboración propia con base a los informes de los estudios citados.

Como conclusión de la tabla 2, se puede aventurar que las hipótesis derivadas de la homologación e interpolación realizada, se confirman, y con ello, se puede intuir que resultados simples de la aplicación de las pruebas estandarizadas de rendimiento educativo por sí mismos, son en extremo previsibles, por lo que se hace necesario además de dichos resultados, realizar análisis contextualizados en función de los factores educativos que los explican y las condiciones que los predeterminan, lo cual es motivo en alguna medida de lo que más adelante se expone en este ensayo argumentativo.

I. Análisis independiente de los resultados de PISA en Matemáticas ediciones 2000 y 2018.

Antes de iniciar los análisis, conviene mencionar por una parte, que el estudio base de este texto, PISA, tiene como población objetivo a los jóvenes de 15 años de edad que estén inscritos en el sistema educativo de los países, sin importar el grado que estén cursando; que las muestras son representativas de entre 4,500 y 10,000 estudiantes por país, que el tamaño de muestra permite realizar inferencias del país en su totalidad pero generalmente no permite inferencias por regiones o estados; que lo evaluado no necesariamente guarda una relación unívoca con los currículos prescritos en los sistemas educativos de los países participantes, sino que el énfasis de la evaluación está puesto en el dominio de los procesos, el entendimiento de los conceptos y la habilidad de actuar o funcionar en varias situaciones dentro de cada dominio; y que, sus instrumentos son una combinación de preguntas directas con una única respuesta correcta (preguntas que sólo admiten algunas palabras o algunas frases breves por respuesta, o que ofrecen múltiples opciones para que el alumno marque alguna o algunas), y preguntas que requieren que los estudiantes elaboren sus propias respuestas.

Así mismo, por otra parte, si bien PISA reporta resultados para tres diferentes áreas de conocimiento (Lenguaje y comunicación, Matemáticas y Ciencias), en el caso de este trabajo, sólo nos referiremos a las pruebas de Matemáticas con el objeto de no sobresaturar el texto con demasiados datos que desvíen el foco de atención del lector de lo que en realidad se quiere trasmitir; como también, porque en general los comportamientos son más o menos similares para las tres disciplinas; y, en virtud de que para el autor, dicha disciplina es la más comparable entre países, ya que es la menos influida por sesgos lingüísticos, culturales o sociales.

Por último, los países que se presentan en el texto no necesariamente son todos los que participan, sino que para el año 2000 se consideran los reportados en el Informe de PISA de dicho año, pero en otros puntos del documento se eliminan aquellos que no participan en los dos ejercicios (2000 y 2018), así como en otros, sólo se consideran los que pueden relacionarse con el IDH de las Naciones Unidas[10], que no necesariamente existe para todos los que participan en PISA.

Así entonces, empezaremos por presentar los resultados generales de Matemáticas en PISA 2000, utilizando la escala general de dicho programa, donde la media inicial es aproximadamente de 500 puntos y la desviación estándar de 100 puntos, por lo que las Figuras (gráficos) no parten del cero[11], sino que se muestran a partir de decenas próximas al valor inferior y al más alto, para no saturarlos.

Figura 1. Ordenamiento inicial de los países según los resultados de PISA 2000 en Matemáticas.

Fuente: Elaboración propia a partir de los datos publicados por OCDE, 2001. Recuperado de: http://www.oecd.org/pisa/39817007.pdf

En una primera lectura de los resultados presentados en la figura anterior, resalta lo siguiente:

1. El total de países participantes en esta primera evaluación de PISA 2000, es de 41, dentro de los más de 200 que existen en el planeta, por lo que en términos de países, sólo el 20% formó parte de este estudio.

2. De los 41, en aquel año, tan sólo 13 no pertenecen a la OCDE y, por ende, es de suponer que casi todos ellos observaban un Índice de Desarrollo Humano alto o muy alto según la clasificación del PNUD.

3. Derivado de los dos puntos anteriores, es claro que esta evaluación de ninguna manera representó la educación del mundo, y dado que, de los 41 participantes, 28 pertenecen a la OCDE (68.29%), existió entonces un sesgo notorio de sobre-representación de los países de esa Organización.

4. Por otra parte, sólo cinco de los países participantes fueron latinoamericanos (Argentina, Brasil, Chile, México y Perú), el 31% de un total de 19 que integran la región, por lo que tampoco se puede decir que estos resultados representaron a la región en términos de países, ni de sistemas educativos nacionales, aun cuando en términos de población sí representaron al rededor del 75%.

5. Más allá de la representatividad de los resultados antes mencionada, es evidente que los países latinoamericanos, en términos de puntaje, ocuparon las últimas posiciones (34 Argentina, 35 México, 36 Chile, 40 Brasil y 41 Perú), con lo cual se inicia la estigmatización descontextualizada que algunos medios de comunicación o pseudo expertos en educación hacen al respecto, y como se verá más delante, de toda la región.

A partir de esta evaluación –y durante los siguientes 22 años– recurrentemente se han dado ejercicios similares cada tres años[12], donde si bien siempre se evalúan los tres dominios (Lenguaje y comunicación, Matemáticas y Ciencias) en cada aplicación se va rotando el énfasis de alguno de ellos, pero siguiendo el mismo esquema ya citado, en este ensayo consideraremos los resultados en la disciplina de Matemáticas, tanto para 2000 como también para 2018, presentados a continuación.

Figura 2. Ordenamiento inicial de los países según los resultados de PISA 2018 en Matemáticas.

Fuente: Elaboración propia a partir de los datos publicados por OCDE, 2018. Recuperado de: https://www.oecd-ilibrary.org/docserver/5f07c754-en.pdf?expires=1633045154&id=id&accname=guest&checksum=B6BB9ACA0D16FAD1A3D26865D608924E .

Prosiguiendo con el análisis de sus agregados más simples, como se hizo en el caso anterior, para PISA 2018 podemos rescatar los siguientes hechos o indicios:

1. 18 años después, la cantidad de países pasó de 41 a 75[13], lo cual sigue siendo una minoría con relación al total de países existentes en el mundo –tan sólo un 37.5% aproximadamente–, aunque es claro que el Programa PISA con el pasar de los años, se ha ido consolidando como el referente más importante del rendimiento educativo a nivel mundial.

2. Ahora bien, sigue persistiendo el sesgo en cuanto a la representatividad de la OCDE, cuyos países representan cerca del 50% del total de los participantes (33).

3. Por lo que toca a la representación de los países latinoamericanos, éstos aumentaron de manera significativa, pasando de sólo cinco en 2000, a 10 países o áreas económicas[14] en 2018, lo cual es poco más del 50% de la región en términos de países.

4. En cuanto a los resultados propiamente dichos, si bien los puntajes de los países que pertenecen a la OCDE siguen siendo los que observan los puntajes más altos, esto no es así en el extremo superior de la escala, ya que tres de los 5 puntajes más altos, no pertenecen a la Organización, lo que pudiera ser indicativo de que pertenecer a la OCDE no es condición sine cuan non para obtener los resultados más altos en este tipo de ordenamientos.

5. Complementariamente, también es de hacer notar que de las cinco entidades que obtienen los puntajes más altos, tres pertenecen al oriente, aun cuando una de ellas no es un país, sino una economía.

6. Por lo que toca a los países latinoamericanos, como resultado de su mayor participación –ahora 10 en lugar de cinco de 2000–, se observa que, si bien ya no son los que tienen los puntajes menores como en 2000, sí obtienen puntajes por debajo de la mitad de la distribución, pertenezcan o no a la OCDE y los diez están ubicados dentro de los 20 de menores puntajes de toda la distribución.

II. Análisis comparado de los resultados de PISA en Matemáticas 2000 y 2018.

Dejaremos hasta aquí el análisis por separado de ambos ejercicios, para proceder a explorar algunos indicios que ofrece el análisis de los resultados de 2000 y 2018 conjuntamente.

Previo a estos análisis hay que considerar algunos criterios básicos que les den sustento:

1. Si bien se reconoce que un examen de papel y lápiz que se aplica cada tres años, no es prueba suficiente para emitir un juicio de valor absoluto sobre la calidad de los sistemas educativos de los países; por otra parte, su aplicación reiterada y la consistencia de los comportamientos observados a lo largo del tiempo, 18 años y siete aplicaciones distintas, sí es un indicio que puede dar cuenta sobre lo que está pasando; tal cual puede ser para una persona tomarse la temperatura corporal en repetidas ocasiones y que su lectura indique en todas más de 40° o menos de 34°, hecho que es razonablemente suficiente para sospechar que algo no está bien y se hace necesario obrar en consecuencia.

2. De igual forma, se reconoce que los logros que reflejan estas investigaciones no representan tan sólo el resultado del quehacer y la intencionalidad de los educadores, directivos, autoridades de los sistema educativos de los países en sí, sino que adicionalmente –tal cual indica la literatura sobre el tema–, existen factores exógenos al sistema educativo que gravitan de manera importante en dichos resultados, dentro de los que destaca el Capital Educativo de las familias de los sustentantes[15], como elemento de control de los resultados. En este mismo sentido -como ya apuntábamos al principio de este texto-, para efectos de nuestro análisis y la contextualización de los resultados de PISA, más adelante introduciremos en la ecuación el IDH que elabora el Programa de las Naciones Unidas para el Desarrollo (PNUD) como un elemento de probada confiabilidad, validez y comparabilidad a nivel internacional, que además es independiente a la prueba PISA.

3. Considerando lo dicho en el párrafo anterior, para realizar el análisis comparativo siguiente, sólo se enunciarán los países que hayan participado en ambos ejercicios, 2000 y 2018, que además cuenten con el IDH para ambos años.

Figura 3. Puntajes en Matemáticas de los países participantes tanto en PISA 2000 y como en 2018.

Fuente: elaboración propia con información de OCDE, 2000 y 2018 ya mencionados anteriormente.

Figura 4. Diferencias de puntajes de los resultados de PISA 2000 y 2018 en Matemáticas, solo los países que participaron en ambos ejercicios.

Fuente: elaboración propia con información de OCDE, 2000 y 2018 ya mencionados anteriormente.

Una lectura inicial de los resultados comparados de ambos ejercicios (PISA 2000 y PISA 2018 en Matemáticas) mostrados en los dos gráficos anteriores (Figuras 3 y 4) –presuponiendo que los instrumentos aplicados son equivalentes en cuanto al grado de dificultad–, nos indicaría lo siguiente:

1. 38 de los 41 países originales de 2000 también participaron en 2018, lo cual pudiera interpretarse como un signo de legitimidad; de los cueles 21 pertenecen a la OCDE.

2. Ningún país que realiza los dos ejercicios obtiene el mismo puntaje en ambas ediciones.

3. Las diferencias que se observan no son consistentemente mayores o menores entre 2000 y 2018, esto es, hay países que incrementan sus puntajes, como también hay otros que lo reducen, con variaciones desde -70 (Japón) hasta +108 (Perú), equivalentes a una variación de 178 puntos en la escala de PISA (1.78 desviaciones estándar).

4. México junto con Noruega, República Checa, Alemania, Federación Rusa, España, Polonia, Letonia, Italia, Portugal, Grecia, Luxemburgo, Bulgaria, Chile, Albania, Macedonia, Indonesia, Brasil y Perú (19 países), observan puntajes en 2018 superiores al año 2000; en tanto que los 19 países o economías restantes, los reducen (Hong Kong-China, Japón, Corea, Nueva Zelandia, Finlandia, Australia, Canadá, Reino Unido, Suiza, Bélgica, Francia, Austria, Dinamarca, Islandia, Suecia, Estados Unidos, Hungría, Tailandia y Argentina).

5. Si partimos de que los instrumentos que aplica PISA son de una alta confiabilidad, validez y cierta comparabilidad en el tiempo[16], se puede deducir que:

a. De la comparación simple de ambos ejercicios se puede observar un primer indicio de que México, aun cuando siempre observa puntajes bajos y figura en el último o penúltimo lugar de los países que pertenecen a la OCDE, incrementa su puntaje en +22 en la escala de PISA entre los dos ejercicios, lo cual no es menor, ya que se puede considerar como el décimo país con el mayor incremento en el periodo.

b. De los países que bajan sus puntajes resaltan algunos que según la prensa especializada -y no tanto (Oppenheimer, 2011)[17]-, son ponderados como los mejores sistemas educativos del mundo, tales como: Corea -21, Nueva Zelandia -43, Finlandia -29, Australia -42, Canadá -21, Suiza -14, Reino Unido -27, Bélgica -12, Francia -22, Austria -16, Dinamarca -5, Islandia -19, Suecia -8 y Estados Unidos -15, dentro de los cuales destaca Japón con la reducción más pronunciada de toda la comparación, -70. También reducen sus puntajes Hungría -7, Tailandia -13 y Argentina -9, aunque sus sistemas educativos no se ponderan como de los mejores.

c. En 18 años sólo Brasil, Albania y Perú observa una variación positiva superior o igual a 50 puntos y Japón negativamente, los demás no rebasan el valor de media desviación estándar ni positiva ni negativamente. Cabe destacar que la variación positiva de Perú (+108), es de poco más de una desviación estándar, lo que representa un aumento verdaderamente sustantivo.

d. Adicionalmente, es de hacer notar que existe un comportamiento muy consistente, en cuanto que los países que tuvieron los mayores puntajes en 2000, los reducen en 2018; en tanto que los que obtuvieron los menores puntajes en 2000, casi todos los aumentan en 2018, lo cual pudiera ser síntoma de la homogenización de los resultados[18] [19].

Por último, en este análisis independiente de los resultados de PISA 2000 y 2018, más adelante se presenta la correlación entre ambos, como una forma de validar la confiabilidad y validez del ejercicio de comparación.

Figura 5. Correlación de los resultados en PISA 2000 y 2018.

Fuente: Elaboración propia a partir de los datos publicados por OCDE, 2000 y 2018.

Así entonces, es de hacer notar en el gráfico anterior, que el R² es equivalente a un 0.7974, lo cual da cuenta de una correlación lineal robusta y elevada, lo que significa que el comportamiento de los resultados de PISA 2000 y 2018 es sumamente consistente a lo largo de los años, por lo que se puede aventurar que efectivamente miden lo mismo, que son confiables y muestran una buena validez de constructo.

III. Algunas consideraciones previas al análisis correlacionado de los resultados de PISA y el IDH.

Llegados a este punto, conviene hacer un señalamiento fundamental en este texto. Hasta aquí, si el lector ha sido suspicaz, se habrá dado cuenta que nunca se emplean los términos “mejor(es)”, “buenos” o “peor(es)”, “malos”, para referirme a los puntajes o comportamientos de los países como en algunos casos se hace en los medios, sino que siempre me he referido a “mayor” o “menor”, más “alto” o más “bajo”; lo anterior, no es una distinción gratuita, casual o pecata minuta, sino que detrás de ello hay toda una justificación etimológica, epistemológica y hermenéutica, en función del significado estricto al que aluden dichas expresiones, en el que conviene detenernos a los efectos de comprender con mayor claridad las dificultades y las consideraciones latentes en cuanto a uno de los términos más mencionados de la literatura educativa y cuya definición aún no logra unanimidad: la calidad de la educación.

Por ejemplo, ya Verónica Edwards (2001, p. 44) en su libro “El concepto de la calidad de la educación” nos adelantaba una luz acerca de dicho término, indicando que “la Calidad de la Educación no es un significado, sino un significante”, con lo cual pone en el centro del debate educativo la dificultad de poder asir una definición que deje satisfechos a todos los actores educativos y a la sociedad en general; más aún, la propia Organización de las Naciones Unidas para la Educación la Ciencia y la Cultura (UNESCO, por sus siglas en inglés) en su Informe Mundial de Seguimiento de la Educación Para Todos de 2005 (UNESCO, 2005), el cual subtitula como “EL IMPERATIVO DE LA CALIDAD”, apunta:

“…existen múltiples dificultades para definir el concepto de calidad educativa, razón por la que se ha optado hasta el momento por referirnos a ella a través del manejo que logran los alumnos de las competencias básicas para el aprendizaje, expresadas fundamentalmente por el dominio del lenguaje y el cálculo básico, llegando en casos más avanzados a las ciencias naturales o exactas, y muy excepcionalmente a las ciencias sociales.”

Lo cual no nos exime de reconocer –siguiendo lo expresado por la misma fuente–, que:

“Los distintos enfoques de la calidad de la educación tienen sus raíces en las distintas corrientes del pensamiento pedagógico. Los planteamientos humanistas, las teorías del behaviorismo, las críticas sociológicas de la educación y los cuestionamientos de las escuelas del colonialismo han enriquecido los debates sobre la calidad y han generado visiones diferentes de la manera en que se deben alcanzar los objetivos de la educación”

Visto lo anterior y lo que la mayor parte de las investigaciones “duras” realizadas en el mundo en los últimos años indican, en cuanto a lo multifactorial y multidimensional del fenómeno educativo, resalta la dificultad de usar con rigor y exactitud los términos “mejor” o “peor”, y juzgar así a tal o cual país en función de los resultados simples de este tipo de ejercicios, como se hace frecuentemente en algunos medios masivos de comunicación u otros escenarios; de la misma forma, que tampoco se pueden hacer ese tipo de juicios de valor en casi ninguno de los diferentes niveles de desagregación posibles, como lo son las provincias o estados dentro de los países, los municipios, los sectores educativos, las zonas escolares, las escuelas mismas, los grupos o hasta los alumnos en particular, en virtud de que más allá de sus esfuerzos y voluntad, generalmente gravitan sobre sus resultados otras variables, que aun cuando no necesariamente son determinantes, sí, insisto, tienen una gran influencia en ellos.

La expresión “mejor”, en tanto adjetivo calificativo, en el Diccionario de la Lengua Española (Real Academia Española, 2018) nos indica en su primera acepción: “superior a otra cosa y que la excede en una cualidad natural o moral”.

Decir “mejor” o “peor” conlleva una connotación de superioridad o inferioridad cualitativa entre quienes son comparados, a los cuales se les imputa una condición inicial de igualdad, lo cual en este caso no es así. Los países y, por ende, los distintos niveles de desagregación posibles no son necesariamente iguales, no son “mejores” o “peores” con relación a los otros a partir de estos puntajes, en virtud de que sus puntos de partida y circunstancia son o pueden ser diametralmente distintos.

Por todo lo anterior, los términos que se usan en este texto son “mayor” o “menor”, los cuales hacen referencia a una medición referida a un mismo patrón –tal cual la altura o el peso de los individuos es “mayor” o “menor” con respecto al patrón metro o kilogramo– sin que ello suponga a priori ningún juicio de valor cualitativo en sí. Ello no implica renunciar a tratar de aproximarnos a mediciones más finas que nos den una idea más cercana a la sustancia cualitativa del fenómeno, lo cual en un ensayo de esta magnitud no se pueda lograr, pero sí, buscaremos abrir el debate a otro tipo de mirada que “empareje la cancha” un poco para todos, permitiendo comparaciones quizá más justas, realistas y por ende legítimas, que nos lleven a conclusiones y distinciones mejor informadas.

IV. Análisis comparado del IDH 2000 y 2018.

Tomando en consideración que el factor externo que más influencia tiene en los resultados de evaluaciones estandarizadas como PISA, es el capital educativo de las familias de los sustentantes (Palafox, et al. 1992)[20], se buscó un indicador que pudiera equipararse con dicho factor o predictor, encontrando que el más consolidado, consistente, válido, confiable y comparable que existe a nivel de países y que además es independiente al estudio de PISA, es el Índice de Desarrollo Humano (IDH) que genera el PNUD; por lo que a falta de otro mejor, más adelante haremos algunas correlaciones y regresiones donde el IDH será la variable independiente y el puntaje promedio de los países en Matemáticas de PISA será la variable dependiente, con lo cual podremos medir las diferencias de los puntajes de los países en PISA por encima o por debajo de lo que sería esperable en función del nivel de su IDH.

Así, entonces, y a manera de introducción, empezaremos por hacer unas puntualizaciones sobre el IDH con relación a los mismos años de la aplicación de PISA que hemos venido analizando, 2000 y 2018.

Figura 6. Comparativo de IDH 2000 y 2018.

Fuente: Elaboración propia a partir de los datos publicados por PNUD, 2000 y 2018.

Figura 7. Diferencias del IDH 2000 y 2018.

Fuente: Elaboración propia a partir de los datos publicados por PNUD, 2000 y 2018.

De los dos gráficos anteriores (Figuras 6 y 7) se puede entrever lo siguiente:

1. Para los 38 países de la comparación que participaron en PISA 2000 y 2018, y que además cuentan con IDH para ambos años, éste, se incrementa entre ambos años, a diferencia de lo que pasa con los puntajes de PISA como se vio anteriormente.

2. México en 2000 con un IDH de 0.705 parte como el 7º más bajo de los países comparados, tan solo por encima de Tailandia, Albania, Macedonia, Indonesia, Brasil y Perú; para en 2018 perder un lugar y pasar a ser 6º con más bajo IDH con 0.767, al ser desplazado por Chile que pasa de 0.753 a 0.847.

3. El poco avance en el IDH de México, da cuenta de un estancamiento en su desarrollo global.

4. Adicionalmente, México en términos de incremento es el país 24 de la comparación con solo +0.062,

5. El país con el menor nivel de avance de su IDH es Noruega con un +0.037, en tanto que Letonia es el país con el mayor avance, equivalente a +0.126 de incremento en su IDH.

6. Conviene mencionar que, si bien México observa un mayor incremento en el IDH que Japón, Argentina, Suiza, Canadá, Reino Unido, Italia, Nueva Zelanda, Luxemburgo, Francia, Bélgica, Suecia, Australia, Estados Unidos y Noruega, dichos países en su mayoría tienen Índices superiores a 0.900, con la sola excepción de Francia 0.891, Italia 0.883 y Argentina 0.830, en tanto que el IDH de México es de tan solo 0.767 para 2018

7. Especial atención merecen la Federación Rusa, Letonia y Albania, como los únicos países que su incremento del IDH sobre pasa una décima en el periodo, o sea un 10%.

Con independencia de lo anterior y al igual que en el caso de los resultados de PISA 2000 y 2018, como una forma de validar la consistencia en el tiempo del IDH, en la siguiente figura se correlacionan los dos años.

Figura 8. Correlación de países en función el IDH del año 2000 y 2018.

Fuente: Elaboración propia a partir de los datos publicados por PNUD, 2000 y 2018.

El gráfico anterior indica un R² de 0.9388, evidencia de una correlación lineal muy cercana al 1.000 (Valor máximo), lo que significa que el comportamiento de esta variable es sumamente consistente a lo largo de los años, en mayor proporción que los resultados de PISA 2000 y 2018, que ya era de por sí muy elevada, por lo que se puede deducir que IDH miden lo mismo en ambos años y que tiene una gran confiabilidad y validez de constructo.

Dejaremos hasta aquí las elucubraciones que estos datos simples nos pueden provocar con respecto al IDH, ya que en si este Índice no es el objeto de estudio de este ensayo, sino que solo nos servirá como variable de control o independiente.

Así entonces, a partir del siguiente punto iniciaremos el análisis de los resultados de PISA correlacionados con los del IDH.

V. Análisis de las correlaciones entre PISA y el IDH, para 2000 y 2018.

A Análisis de las correlaciones entre PISA y el IDH, para 2000.

En este punto adicionalmente a la correlación de ambas variables que se muestra en el gráfico 9, en su tabla asociada (Tabla 3) se extrae la distancia que hay entre el puntaje logrado y el que según el IDH de cada país era previsible que obtuvieran, con lo que se construye lo que proponemos como Índice de Esfuerzo Escolar IEE (conocido en estadística como residuos), como una forma de contextualizar los resultados de PISA, con lo que nos acercamos a identificar de mejor forma lo que cada sistema educativo aporta o deja de aporta al aprendizaje de los estudiantes que representa PISA.

Figura 9. Correlación los puntajes de PISA y el IDH para el año 2000.

Fuente: elaboración propia con información de PNUD y OCDE, 2000, citadas en las ilustraciones anteriores.

Tabla 3. Ordenamiento de países por el puntaje diferencial entre lo esperado, según su IDH 2000 y lo realmente obtenido en PISA 2000 (Índice de Esfuerzo Escolar [IEE] o Residuos[21]).

Fuente: elaboración propia con información de PNUD y OCDE citadas en las ilustraciones anteriores.

De la Figura. 9 y su consecuente Tabla 3, entre otras cosas se puede comentar que:

1. Este gráfico y su tabla incluyen todos los países y economías que participaron en PISA 2000 y para los cuales existe el IDH para el mismo año.

2. El R² del ejercicio es de 0.6380, lo cual da cuenta de una correlación lineal importante entre ambas variables, por lo que se confirma al IDH como un buen predictor del puntaje de PISA; dicho coloquialmente “más de la mitad de las variaciones de los puntajes de PISA, se puede intuir que son explicadas por el IDH”.

3. Por otra parte, si partimos del supuesto de que el Residuo resultante corresponde a la diferencia entre el puntaje esperado de cada país dado su IDH (línea de regresión o pronóstico, línea azul punteada) y el puntaje realmente logrado, se puede considerar que dicho residuo representa lo que el sistema educativo aporta o deja de aportar al rendimiento educativo reflejado en los puntajes PISA, lo que el autor propone que sea considerado como el Índice de Esfuerzo Escolar IEE (Palafox, 2011).

4. Dicho lo anterior, se puede plantear como hipótesis que esto nos acerca más a una medición de los “mejores” y “peores” puntajes (IEE), y no tan sólo de los mayores y menores como hasta ahora.

5. Considerando el IEE, las posiciones cambian con relación al ordenamiento original publicado por PISA.

6. En el extremo superior del nuevo ordenamiento por IEE. Se observa que los cinco primeros lugares (marcados con VERDE), Hong Kong el 1° no varían en su posición y Corea 3° lugar originalmente sube al puesto 2º, mientras que Japón originalmente 2º pasa al 5º, Nueva Zelanda que era el 4º pasa al 10º y Finlandia originalmente el 5º desciende al 9º, en tanto que son rebasados por la Federación Rusa 3º (+18) y Tailandia 4º (+25).

7. Por contrapartida en el otro extremo del ordenamiento (marcados con NARANJO), el nuevo ordenamiento por IEE igualmente observa ciertas consistencias y algunas sorpresas. En cuanto a las primeras, Perú lugar 38º sigue en el mismo, en tanto que Argentina desciende del 31° al 37°, Luxemburgo del 28 al 36, Brasil del 37º al 35° y Chile del 33° al 34°, pero Macedonia sube del lugar 35° al 24° e Indonesia del 36° al 25°.

8. Con independencia de los comportamientos de los primeros y últimos cinco lugares vistos en los dos puntos anteriores, es prudente llamar la atención de los casos más extremos, aquellos que tienen las mayores diferencias entre lo logrado y lo esperado según su IDH. En primer término, está Hong Kong, que presenta la mayor diferencia positiva con +72.33, indicio de que puede ser el mejor sistema educativo en el año 2000 de los países incluidos en ese ejercicio; en tanto que Perú, con una diferencia de -101.20 podría considerarse el sistema más ineficaz de la comparación en PISA 2000.

9. Así mismo, en términos de cambio en su posición relativa, los países que muestra mayor ascenso son Tailandia e Indonesia que ascienden +25 posiciones, del 29º al 4º y del 26° al 11°, en tanto el país que pierde más posiciones es Noruega -17 posiciones, pasando del lugar 16º al 33º.

10. En el caso de México la diferencia entre los 387 puntos logrados en PISA 2000 y lo esperado 409.79, según su IDH, es de -22.79 puntos, lo cual quiere decir que el sistema educativo mexicano a pesar de estar por debajo de lo esperado, su posición relativa según el IEE sube 4 lugares, pasando del 32º al 28º, situación que matiza las aseveraciones de que nuestro país es el “peor” sistema educativo de la OCDE, ya que por IEE en 2000 está por encima de Alemania, Estados Unidos, Italia, España, Noruega, Chile, Brasil, Luxemburgo, Argentina y Perú, de los cuales Alemania, Estados Unidos, Italia, España, Noruega, Chile y Luxemburgo son actualmente miembros de la OCDE.

B Análisis de las correlaciones entre PISA y el IDH, para 2018.

Visto lo anterior, procederemos a hacer el mismo ejercicio para 2018, a los efectos de aportar más elementos al análisis, y así, ir acercándonos a una visión más completa y comprensiva de un fenómeno de suyo complejo.

Figura 10. Dispersión de países en función del puntaje de PISA y el IDH de 2018.

Fuente: Elaboración propia con información del PNUD y la OCDE 2018,

Tabla 4. Ordenamiento de países por el puntaje diferencial entre lo esperado según su IDH 2018 y lo realmente obtenido en PISA 2018 (Índice de Esfuerzo Escolar IEE o residuos[22]).

Fuente: elaboración propia con información de PNUD, 2018 y OCDE, 2018.

De la Figura 10 y su consecuente Tabla 4, entre otras cosas se observa que:

1. Este gráfico y su tabla incluyen todos los países y economías que participaron en PISA 2018 para los cuales existe el IDH para el mismo año y que además participaron en 2000.

2. El R² del ejercicio para 2018 es de 0.7309, aún más que lo que ocurre para 2000, lo cual nuevamente da cuenta de una correlación lineal importante entre ambas variables, por lo que se reconfirma el IDH como un buen predictor del puntaje de PISA.

3. Siguiendo el mismo criterio de análisis que se hizo para 2000, considerando el IEE, las posiciones cambian para 2018 con relación al ordenamiento original de la OCDE, al igual que en aquel año.

4. En el extremo superior del nuevo ordenamiento por IEE (los cinco primeros lugares), ahora en primer sito aparece la Federación Rusa quien pasa del lugar 22 al 1, así mismo, Polonia, Hong Kong y Corea se mantienen dentro de las 5 primeras posiciones, Polonia sube una posición, de 3° al 2° lugar, Hong Kong baja del 1° al 3° y Corea del 2° al 5°, en tanto que Suiza y Canadá salen de los primero 5 lugares, al pasar del Suiza del 4° al 20° y Canadá de 5° al 12°, incorporándose al grupo de los primeros cinco Letonia que pasa del 16° al 4°.

5. En el otro extremo del ordenamiento, donde los puntajes son originalmente los más bajos, Brasil y Argentina se mantienen en este grupo, el primero sube del 36° al 35°, y el segundo, baja del 37° al 38°; en tanto que se incorporan Estados unidos que baja del 27° al 34°, España del 25° al 36° y Chile del 32° al 37°, mientras por otro lado salen del grupo Macedonia que pasa del 35° al 29 y Perú que pasa del 34° al 24°.

6. Con independencia de los comportamientos de los primeros y últimos cinco lugares vistos en los dos puntos anteriores, es prudente llamar la atención sobre los casos más extremos, aquellos que tienen las mayores diferencias entre el lugar logrado originalmente y el nuevo que ocupan por IEE. En primer término, la República Rusa e Indonesia países ambos que tienen un incremento de 21 lugares a favor, mientras que nuevamente al igual que en 2000 Noruega es el país que presenta la mayor pérdida considerando su puntaje original y el IEE, perdiendo por IEE 20 posiciones, del 11° al 31°

7. En el caso de México, al considerar el IEE, se destaca que pasa del lugar 33º original del ordenamiento de PISA 2018, al 21º, o sea que avanza 12 lugares y queda a tan sólo -3.0575 puntos por debajo del esperable según su IDH, lo cual nuevamente es un indicio de que si bien hay tareas pendientes en materia educativa, se desmiente las aseveraciones de que nuestro país es el “peor” sistema educativo de la OCDE, al quedar para 2018 por IEE por encima de Nueva Zelanda 23º, Suecia 25º, Japón26°, Luxemburgo 27º, Alemania 28º, Islandia 30º, Noruega 31º, Australia 32º, Grecia 33º, Estados Unidos 34º, España 36º y Chile 37º.

Llegados a este punto, hagamos ahora un análisis conjunto de 2000 y 2018. combinado PISA y IDH

Figura 11. Dispersión de países en función del puntaje de PISA y el IDH de los años 2000 y 2018.

Fuente: elaboración propia con información de PNUD 2000 y 2018; OCDE 2001 y 2018.

De la Figura 11 comparativa, se puede comentar que:

1. En el gráfico se incluyen los países o economías que participan en PISA 2000 y en PISA 2018 y que además tienen IDH para ambos años.

2. Se observa una gran consistencia y simetría en el comportamiento de las dos tendencias, las líneas de regresión no se sobreponen pero si tienden a ser paralelas, lo cual se puede interpretar de la siguiente forma:

a) Las líneas de regresión reflejan el incremento generalizado del IDH, done en 2018 parte de un valor superior al de 2000 conforme se vio en las primeras ilustraciones de este documento, en que se analizan en forma independiente los resultados de PISA y el IDH de los países en ambos años.

b) Así mismo, dichas líneas son de diferente longitud debido a la reducción en la dispersión de los valores del IDH entre 2000 y 2018.

c) Aun cuando ambas variables tienen un comportamiento al alza, es más notorio el caso del IDH.

Tabla 5. Ordenamiento comparativo de países 2000 y 2018 por orden alfabético de país, incluyendo IDH, puntaje PISA y IEE.

Fuente: elaboración propia con información de PNUD y OCDE para 2000 y 2018.

De la Tabla 5 comparativa 2000 y 2018, se puede comentar que:

1. En la Tabla solo se incluyen los países que participan tanto en PISA 2000 como en PISA 2018, que además cuentan con IDH para los dos años.

2. Los tres mejores comportamientos de la comparación 2000-2018 en tanto el cambio en su posición relativa según el IEE, son los países que se les distingue con verde obscuro en la última columna, en primer término, Italia con una mejora de 23 posiciones, ya que pasa de la 31° a la 8°, Portugal con un avance de 19 posiciones; y Perú de la 38° a la 24° equivalente a 14 posiciones de mejora.

3. En el lado contrario, los países que pierden más posiciones por IEE y que en la tabla se marcan con color naranjo, son Australia que pierde -10 posiciones de IEE, Nueva Zelanda -13 y Japón con -21.

4. Adicionalmente se destacan los cinco países Latinoamericanos que participaron tanto en 2000 y 2018 con verde claro toda la fila. Argentina que pierde una posición del IEE, Brasil que queda igual, Chile que pierde -3, Perú que apuntábamos en el punto anterior que gana 14.

5. Finalmente, México marcado con azul gana 7 posiciones, lo cual nuevamente confirma que a pesar de que su avance es modesto, éste, considerando su mezcla social o nivel de desarrollo que indica el IDH, es de hacer notar, ya que el IEE elimina parcialmente los factores exógenos al esfuerzo real que realizan los sistemas educativos de los países, lo anterior sin dejar de lado que aún sigue por debajo de lo que se esperaría en función de su IDH.

VI. Breve reflexión sobre los factores explicativos del rendimiento educativo de entorno escolar.

Al igual que en los apartados anteriores no se incurrirá en profundos análisis de causalidad, sino que solo se sintetizará y referirá a los hallazgos que surgieron en el Primer Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados al Rendimiento educativo en Tercer y Cuarto Grados realizado por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación en 1997[23], por ser el más antiguo realizado en la región, el primero que a esa fecha incluye el impacto de factores asociados y el único en su tipo que incluye para todos los países participantes análisis por distintos estratos (Por gestión de los planteles, escuelas públicas y escuelas privadas; así como por contextos demográficos, escuelas ubicadas en megaciudades de un millón o + habitantes, urbanas entre 2,500 y 999,999 habitantes y rurales menos de 2,500 habitantes).

También en este caso, solo haremos referencia a la disciplina de Matemática a los efectos de no sobrecargar el análisis con demasiados datos.

Conviene mencionar que en la realización de este estudio participaron Argentina, Brasil, Bolivia, Chile, Colombia, Costa Rica, Cuba, Honduras, México, Paraguay, Perú, República Dominicana y Venezuela, países que contaban a la fecha del estudio con 19,490,590 alumnos de tercero y cuarto grados de educación primaria; que la muestra representativa de esa población fue de 54,417 alumnos que presentaron el examen de matemáticas (variable dependiente), a quienes paralelamente se les aplicaron 48,688 encuestas de alumnos, 41,088 encuestas a padres de familia de los alumnos examinados, 3,675 encuestas para los docentes de esos mismos alumnos, 1,387 encuestas a los directores de las escuelas donde se aplicó las pruebas y 1,509 fichas de los mismos establecimientos (variables independientes); que como se mencionó en el apartado de antecedentes, la escala de los puntajes de los resultados de las pruebas está dada en función de una media de 250 puntos y una desviación estándar de 50 puntos.

A partir de lo anterior, en la siguiente figura se resume el impacto de distintos factores escolares que se recolectaron en las encuestas aplicadas, en los puntajes promedio de matemáticas, pero solo para una muestra de alumnos que comparte el mismo origen socio-educativo, como una forma de evitar las distorsiones o influencia que se derivan de dichas diferencias socio-educativas.

Figura 12. Impacto de los factores asociados al rendimiento educativo para una población que comparte el mismo origen socio-educativo.

Fuente: Elaboración propia con base en los resultados del Primer Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados al Rendimiento educativo en Tercer y Cuarto Grados del LLECE (1997).

A. Factores asociados al rendimiento que operan negativamente.

En la figura 12 se presenta la diferencia de puntajes en matemática cuando el factor en estudio está ausente contra cuando está presente, en el entendido de que solo se incluyen los factores cuyas diferencias según el estudio de referencia, no se deben al azar, sino que son lo que se conoce en al ámbito estadístico como “Estadísticamente significativas”. Así entonces, se pueden observar dos grupos de factores, los que tienen diferencias POSITIVAS en los puntajes promedio que obtienen los alumnos en matemática (indicadas del 7 al 16, en letra normal, en color negro y sin signo); y, los que tienen diferencias NEGATIVAS en los puntajes promedio que obtienen los alumnos en matemática (del 1 al 6, indicadas en letra cursiva, en color rojo y con signo negativo).

Como factores negativos, es de hacer notar que cuando los docentes atribuyen el éxito o fracaso de sus alumnos al apoyo familiar (Factor 1) y no como resultado de su actividad como profesores, es donde se presenta el que mayor efecto negativo en los puntajes de sus alumnos según esta investigación; dicho de otra forma, los alumnos cuyos profesores dan mayor importancia en el éxito o fracaso de sus alumnos al apoyo de las familias por encima de su propio quehacer docente, obtienen en promedio – 22.3 puntos menos que los alumnos cuyos docentes consideran que su labor está por encima del apoyo familiar. También en relación con este factor es relevante que tiene un impacto negativo de casi media desviación estándar.

Acompañando al factor antes citado en términos de impacto negativo, están los siguientes factores:

Factor 2. Con - 11.6 puntos, refiere a cuando los alumnos se les agrupa en las escuelas en función de sus habilidades (los buenos con los buenos, los no tan buenos, con los no tan buenos);

Factor 3. En el que se observa un puntaje de - 9.7 para los alumnos de docentes que se ven obligados o realizan otro tipo de actividad profesional a la par de la docencia a diferencia de los que solo tienen como actividad profesional la docencia;

Factor 4. En este caso la diferencia es de – 5.8 puntos en el caso de los alumnos cuyos docentes siente que su jornada laboral es extenuante por debajo de los docentes que no lo consideran así.

Factor 5. Esta investigación arrojó que los alumnos cuyos padres ayudan a sus hijos en las tareas escolares, estos últimos obtienen – 2.7 en comparación con los alumnos cuyos padres no los ayudan, lo cual no deja de ser interesante y quizá como hipótesis explicativa se puede adelantar que, con independencia de la preparación de los padres, ellos no necesariamente están capacitados para el ejercicio del proceso de enseñanza.

Factor 6. Por último, la cantidad de alumnos por grupo es un factor que si bien indica puntajes de – 0.5 por cada 5 alumnos de más en el grupo, esto no tiene un peso determinante si se considera el costo-beneficio en que se incurriría al rebajar la cantidad de alumnos; por otra parte, quizá el poco aporte de este factor pueda deberse a que en general los docentes no modifican sus prácticas ante variaciones pequeñas de sus alumnos por grupo.

B. Factores asociados al rendimiento que operan positivamente.

Por otro lado, están los factores que representa incrementos positivos cuando están presentes, por encima de cuando el factor no está presente.

Factor 7. En este grupo en primer término, con el aporte más pequeño, + 0.2, se encuentra el hecho de que haya materiales de instrucción disponibles en la escuela (material didáctico), lo cual quizá pueda ser derivado por la misma razón comentada en el Factor 6, de que el hecho de que estén disponibles los materiales, no necesariamente son garantía de que sean usados por los docentes.

Factor 8. Sigue con + 2.1 una mayor preparación de los docentes, aporte que se esperaba mayor, pero que quizá pueda deberse a que por un lado la preparación inicial de los docentes es la misma y por el otro lado, al hecho de que en ocasiones la preparación no necesariamente guarda relación con la mejora de su práctica docente, sino que en ocasiones es para postular a otro tipo de función, para acrecentar sus conocimientos en actividades distintas a su función o simplemente para acumular puntos de carácter escalafonario. A este respecto, quien suscribe este ensayo ha propuesto que la formación docente en servicio responda a tres ámbitos (Palafox. 2013), a. Las áreas de oportunidad que aporten este tipo de estudios, b. Los intereses específicos de los docentes que se relacionen con su función, y c. Los contenidos, aspecto o temas que sean de interés por parte de la autoridad (Reforma educativa, Cambios curriculares en planes y programas, etc.)

Factor 9. Con + 2.2 está el hecho de que los tutores se involucren a nivel de aula en las escuelas de sus hijos, o sea que este permanentemente en comunicación e interacción con lo que sucede al interior del aula y lo que hace su hijo y su docente en esa dimensión.

Factor 10 y 11. Refieren al mismo aspecto, que los padres leen a sus hijos, la diferencia radica en la frecuencia, de donde se desprende que a mayor frecuencia mayor impacto en el rendimiento promedio de los hijos, + 2.9 para la lectura a veces y + 4.3 cuando es a menudo.

Factor 12. Con + 9.5 puntos más en promedio se encuentran los alumnos cuyos docentes consideran que su salario es adecuando, con independencia de si lo es o no desde el punto de vista de otro tipo de interpretaciones.

Factor 13. Los alumnos que acuden a escuelas donde existe una biblioteca escolar con más de 1,000 libros, sus puntajes son superiores en promedio a las escuelas que no cuentan con este elemento en + 9.9 punto.

Factor 14. Relacionado con el Factor 9, según esta investigación está el hecho de que los tutores se involucren, pero solo a nivel de escuela y no tanto a nivel de aula, ya que cuando están involucrados a nivel de escuela sus hijos tienen mejor promedio en + 14.9 puntos, en tanto que como ya vimos, si se involucran a nivel de aula, la diferencia es de solo 2.2.

Factor 15. Cuando los docentes atribuyen el éxito o fracaso de sus alumnos a las propias habilidades de dichos alumnos, o sea que confían en sus educandos, entonces el promedio sube en + 21.5 puntos.

Factor 16. Este caso, representa el comportamiento más importante de toda esta investigación, y por ello, merece relevarse de manera especial, de hecho, es este factor el que nos inclinó a incluir esta investigación en este texto y no otras que se han realizado posteriormente en la región y a nivel internacional. El factor se refiere al Clima de Aula, constructo que no necesariamente tiene relación con las preconcepciones que el lector de este ensayo argumentativo pueda tener al respecto, sino que responde unívocamente a las variables que se incluyeron en la encuesta que se aplicó a los alumnos paralelamente a las pruebas de esta investigación y solo a ello. Dichas variables fueron las siguientes preguntas a. ¿En tu salón de clases se hacen buenas amistades?; b. ¿En tu salón de clases se molestan entre los compañeros?; y c. ¿En tu salón de clases hay peleas constantes?

Lo que le da el carácter de único a este hallazgo, es el hecho de que la diferencia entre los alumnos que están en grupos donde se hacen buenas amistades, no se molestan entre sí y no hay peleas constantes, es de + 115 puntos, lo que equivale a más de dos desviaciones estándar entre ambos tipos de alumnos, diferencia que podríamos aventurarnos a sugerir que equivaldría a dos grados educativos de diferencia.

Lastimosamente, este constructo por diferencias entre el fundador de este estudio y quienes posteriormente le dirigieron, no primó el esperable interés profesional y técnico por confirmar o desechar su impacto en los rendimientos educativos en las subsecuentes aplicaciones con datos duros, sino que a raíz de dichas diferencias se modificó e incrementó con más variables el constructo, con lo que se imposibilitó su confirmación.

Con independencia de lo dicho en el párrafo anterior, para efectos de este texto, lo importante es poner al centro de este tipo de investigaciones no tan solo los datos referentes a los rendimientos educativos de los estudiantes, sino que la verdadera riqueza de dichos estudios, está en las luces que nos pueden dar con relación a las explicaciones y factores que están asociados a dichos rendimientos, lo cual debiera ser una fuente irrestricta para la toma de decisiones en materia de “las definiciones de políticas públicas en Educación”, título de este ensayo.

VII. Posicionamiento final.

A. Conclusiones.

1. En primer término, es necesario acotar que El Programa Internacional para la Evaluación de Estudiantes, PISA, no mide o mide solo tangencialmente los aspectos más significativos de una educación de calidad citados por algunos autores; dentro de los cuales, a nivel internacional podemos mencionar los 4 pilares de la educación planteados en el Informe a la UNESCO de la Comisión sobre la Educación para el Siglo XXI “aprender a ser, aprender a conocer, aprender a hacer y aprender a vivir juntos”[24], o en el ámbito nacional, lo planteado por Carlos Muñoz Izquierdo (qepd), que sugería como las dimensiones más importantes de la calidad educativa y sus criterios de evaluación: “la Dimensión Filosófica-Relevancia, la Dimensión Pedagógica-Eficacia, la Dimensión Social-Equidad, la Dimensión Cultural-Pertinencia y la Dimensión Económica-Eficiencia”[25].

2. Complementariamente, un aspecto que le resta legitimidad a los resultados de PISA es que el programa se da en el seno de una organización cuyo objeto de trabajo es la Cooperación y el Desarrollo Económicos y no la educación como eje central de su actividad, aunado a que los países que le componen tienen un fuerte sesgo de alto o muy alto desarrollo económico.

3. Mas, sin embargo, no se puede negar que PISA es sin duda el referente de mayor cobertura en materia de evaluación de los aprendizajes a nivel internacional.

4. Más allá del sesgo antes mencionado y lo multifactorial y multidimensional del fenómeno educativo, los resultados de PISA son un indicio interesante sobre los niveles de rendimiento educativo de los estudiantes de 15 años cumplidos que están dentro de los sistemas educativos en los países participantes, en relación con las limitadas áreas que observa.

5. Con independencia de lo dicho en los puntos anteriores, PISA no debe de ser considerado como el reflejo absoluto de lo que está sucediendo en el mundo en materia educativa, en virtud de su poca representatividad (35% aprox.) y notorio sesgo por tipo de países participantes, generalmente de IDH alto o muy alto.

6. Los resultados de PISA de ninguna manera reflejan el esfuerzo, ni la eficacia de los sistemas educativos de los países que participan, a menos de que se controlen por algunas variables o factores exógenos al esfuerzo escolar, que también afectan directamente su comportamiento en este tipo de evaluaciones, tal cual se muestra en este texto con el Índice de Esfuerzo Escolar IEE.

7. Sin menoscabo de lo relativo de estos resultados, los mismos sí reflejan el lugar que los sistemas ocupan en cuanto a rendimiento educativo, en términos de lo que se conoce coloquialmente en el sector como “las carreras de caballos”, en el sentido de que indican quien obtiene los mayores o los menores puntajes sin importar sus puntos de partida, ni condiciones en que se da el hecho educativo.

8. Estudios como PISA ponen de manifiesto la necesidad de optar por referirse a sus resultados como mayores o menores puntajes, pero nunca como los mejores o peores puntajes.

9. No efectuar lo dicho en el párrafo anterior generalmente tiende a sobredimensionar a los países cuyas poblaciones tienen mejores condiciones de inicio, en tanto que, por el contrario, se estigmatizan a aquellos cuyas condiciones de partida son en extremo más difíciles, complicadas o hasta en algunos casos, verdaderamente negativas para educar a sus pueblos.

10. La aseveración citada en el punto anterior es aplicable a todos los niveles de desagregación que estos resultados pueden generar, así como para las evaluaciones nacionales que se realicen en cada país.

11. Considerando todo lo dicho en las conclusiones que anteceden, así como las evidencias duras que se han puesto de manifiesto en todo este ensayo argumentativo, México de ninguna manera puede ser considerado como el país de la OCDE que tiene el sistema educativo más ineficaz de los que pertenecen a la misma.

12. Así mismo, partiendo de la base de que los instrumentos aplicados en 2000 y 2018 son más o menos equivalentes, dado que ambos instrumentos de evaluación comparten un mismo rasgo latente a evaluar, la evidencia mostrada en este ensayo demuestra más allá de una duda razonable, que el sistema educativo de México ha mejorado su rendimiento en 2018 en 7% sobre su puntaje de 2000. Adicionalmente, México en cuanto a la brecha (IEE) entre su puntaje esperable dado su IDH y el puntaje verdaderamente logrado, de 2000 a 2018 ha reducido en 22 puntos de la escala de PISA, logrando situarse a tan sólo 3.0757 puntos por debajo de lo esperable, lo cual es una evidencia clara de mejora.

13. A nivel Internacional este tipo de interpretaciones dan cuenta de lo que a últimas fechas se empieza a reconocer, hay que dar un cambio en el foco de la atención de las autoridades educativas mexicanas hacia lo que está pasando en el país, considerando las diferencias de partida o de contexto, y dejar de seguir fijando la atención exclusivamente hacia países cuyos resultados aun cuando son más altos o mayores, la verdad es que no somos estrictamente comparables, a menos de que se controlen los resultados de este tipo de evaluaciones, con algún elemento como el IDH que refleje su realidad socioeconómica y/o capital escolar de entrada, de otra forma las comparaciones tienden a ser espurias o en extremo simplistas.

Cambio que inicialmente ya se ha comenzado a instrumentar mediante el enfoque de Evaluaciones Diagnósticas que plantea la nueva Reforma Educativa vigente desde 2019, las cuales estarán a cargo de la Comisión Nacional de Mejora Continua de la Educación (MEJOREDU).

14. Así mismo, a partir de estas interpretaciones es evidente que pertenecer o no a la OCDE de ninguna manera es sinónimo de un buen sistema educativo, por lo que las interpretaciones planas y descontextualizadas que se hace de los resultados de PISA en los medios masivos de comunicación y en algunos círculos de supuestos expertos educativos, es equivocada y desconoce el carácter eminentemente cultural del fenómeno educativo, llegando en ocasiones hasta interpretaciones de mala fe, maniqueas y amarillistas.

15. En los últimos años, México, la región y una buena parte de la comunidad internacional se han dado a la tarea de desarrollar sistemas de evaluación educativa, los cuales en opinión del autor de este ensayo, están “al debe”, ya que en los avances de los niveles de aprendizaje que se reflejan, no existe evidencia dura alguna que nos indique que han sido el reflejo de dichos sistemas de evaluación; ni justifican las inversiones millonarias en que se incurre; como tampoco han aportado información que derive en la toma de decisiones de alto impacto, ya que más bien se concretaron a mostrar resultados llanos, descontextualizados y sin considerar el impacto de los factores que les explican; por lo que se hace necesario innovar en su concepción, orientación y uso.

16. Con independencia de todo lo anterior, es recomendable –como ya se comentó–, realizar un análisis longitudinal de los resultados de PISA de todas sus aplicaciones y disciplinas a los efectos de validar los hallazgos aquí descritos y obrar en consecuencia.

17. Complementariamente conviene llamar la atención al poco avance en el Índice de Desarrollo Humano que ha observado México en el periodo, mismo que más allá del análisis de los resultados de PISA, pone de manifiesto otro problema en materia educativa que es con mucho el más relevante que afronta el país, el rezago educativo, considerado como la cantidad de población de 15 años de edad o más que no ha terminado su educación básica, mismo que se calcula en más de 30 millones de personas; problema al cual se dedica un mínimo de recursos,

Esta situación en el actual contexto del COVID – 19 tiende a agudizarse como lo muestran algunos datos de la encuesta telefónica por el INEGI recientemente (INEGI 2021), en la cual se estima que del 2.2% (738.4 mil personas) de la población inscrita el ciclo escolar 2019-2020 que no concluyó, más de la mitad (58.9%) señaló que fue por un motivo relacionado a la COVID-19, a lo que habrá que sumar la cifra que se detecte en los siguientes ciclos escolares.

18. Más allá de los análisis descontextualizados de estas investigaciones y del énfasis que se le da a los resultados brutos de las mismas, es necesario continuar participando en estos ejercicios, ya que los mismos nos alejan de las visiones endogámicas que tanto daño hicieron a nuestro desarrollo educativo en años pasados, facilitándonos la comparación con los otros, que aun cuando somos distintos, si permiten ubicarnos en un contexto más amplio y reconocer si avanzamos o retrocedemos en un mundo eminentemente competitivo y globalizado, donde todos los países buscan mejorar sus niveles de rendimiento educativo.

B. Reflexiones adicionales.

Visto lo anterior, nadie en su sano juicio puede negar que PISA se ha transformado en un referente sobre la calidad de la educación a nivel internacional. Programa que en su momento fue considerado como la gran innovación en materia de evaluación y diagnóstico de los niveles de aprendizaje en los países participantes; pero de igual forma como todas las innovaciones, aun cuando en principio puedan parecer tremendos avances o hallazgos que vienen a ayudar a resolver “x” o “y” problema, en ocasiones si no se les considera en su exacta dimensión y pondera desde una visión de futuro y holísticamente, pueden llegar a ser verdaderos impedimentos para la solución de lo que pretenden resolver, o acarrean otro tipo de consecuencias que pueden llegar a ser en extremo nefastas.

En este último sentido, baste recordar en un ámbito exógeno a la educación, el de la petroquímica, aquella gran innovación llamada PET -tereftalato de polietileno-, que fue patentada como un polímero para fibra por J. R. Whinfield y J. T. Dickson en 1941, la cual prometía reducir de manera significativa los costos de empaque, traslado, distribución, manejo, almacenamiento, exhibición, etc., de miles de productos que a la sazón se empacaban en vidrio, madera, metal, cartón u otros materiales reciclables o biodegradables; innovación que con el paso del tiempo, se han constituido como el principal contaminante de los mares[26], como ejemplo de ello, podemos mencionar la existencia de una de 5 islas que existen en nuestros mares, la conocida internacionalmente como: Great Pacific Garbage Patch[27], que cubre una superficie de alrededor de 1,800,000 kilómetros cuadrados, superficie cercana a la de todo México incluyendo playas, montañas, poblaciones, ríos, valles, etc. o equivalente a toda la superficie sumada de Alemania, Francia, Reino Unido, Italia, Paises Bajos y Suiza.

Así mismo, más relacionado con el tema educativo, existen claros ejemplos de políticas o estrategias que en su momento se consideraron como “INNOVADORAS”, que no tan solo no ayudaron a resolver problemas educativos, sino que sus resultados se han transformado en perversos, en tanto que generaron daños trascendentes a la educación. Dentro de ellas, está la política conocida como el Servicio Profesional Docente (SPD), que en teoría pretendía coadyubar a la mejora educativa, pero que en los hechos al dar a los docentes mejor evaluados la posibilidad de seleccionar las plazas y centros educativos que desearan, logró que dichos docentes mejor calificados, seleccionaran las escuelas donde menos falta hacían, dejando las opciones donde estaba la población más carenciada y necesitada de buenos maestros, para los docentes menos calificados, con lo que lo único que se logró fue acrecentar las brechas entre las poblaciones más favorecidas y las más necesitadas, amén de que no se logró instaurar plenamente[28].

Otro ejemplo en materia educativa, fue lo que en su momento se consideró una gran innovación en cuanto a planeación y programación educativa, que consistió en dotar en automático -como un derecho- plazas docentes a todos los egresados de los centros de formación docente (Normales), para con ello paliar la escases de docentes que impedía terminar con el rezago educativo de mediados del siglo pasado, lo que si bien logró dotar de maestros a las escuelas, también trajo como consecuencia que centenas, que si no miles de personas, que sin tener ninguna vocación por la docencia, decidiera estudiar para maestros, ya que con ello resolvía su situación económica de por vida o les permitía tener una base estable para proyectarse al futuro en otras actividades, o en el peor de los casos si fracasaban en esto último, podrían volver a su plaza docente, todo lo cual en alguna medida se transformó en un obstáculo para una buena educación.

Es por todo lo anterior y por el nuevo escenario que se nos plantea en el futuro inmediato a partir de la pandemia de COVID-19, que adquiere una enorme relevancia el postulado que ha formulado las Naciones Unidas en el informe que presentó el Secretario General en julio de 2020:

“La recuperación posterior a la pandemia debería ser una oportunidad para transformar el modelo de desarrollo de América Latina y el Caribe y, al mismo tiempo, fortalecer la democracia, salvaguardar los derechos humanos y mantener la paz, en consonancia con la Agenda 2030 para el Desarrollo Sostenible[29].

Lo que se sintetiza en una propuesta concreta y poderosa:

“En América Latina y el Caribe, reconstruir mejor implica reconstruir con igualdad”[30].

“Señalar que la pandemia ha puesto al descubierto problemas estructurales significa constatar que el análisis de sus consecuencias e implicancias no puede limitarse a los efectos coyunturales. Estos son variados y, en algunas dimensiones, graves. Sin embargo, en esta coyuntura crítica no se pueden registrar solo efectos e impactos de corto plazo, y es necesario escapar a la tentación de considerar la pandemia como un accidente o un paréntesis y no como la expresión de una situación límite que demanda un viraje, un punto de inflexión ante lo que cada vez se considera más como una encrucijada que enfrenta nuestra civilización. Es fundamental visualizar y tener presente, el corto plazo, el largo plazo.”[31]

En definitiva, este ensayo argumentativo de ninguna forma pretende erigirse como el “modelo”, ni mucho menos la síntesis de los propios hallazgos de la OCDE o de otros prestigiados investigadores, sino que busca aportar una visión distinta a la interpretación de los resultados de ejercicios como PISA y/o LLECE; rescatar información que dé cuenta de evidencias claras y contundentes de que el sistema educativo mexicano ha avanzado –o si fuera lo contrario, también mostrarlo–; que si bien, sigue por debajo de lo que sería esperable de él en función de la mezcla social del país, se ha avanzado; que dicho avance nos es menor; que todo lo cual de ninguna manera quiere decir que se deban “echar las campanas al vuelo”, sino que hay que redoblar el paso, continuar con los esfuerzos de reforma que devuelvan al sistema transparencia, racionalidad e incorporen en sus decisiones la innovación pensada e inteligente basada en evidencias duras, locales y no únicamente en ecuaciones políticas. México heredero de culturas milenarias merece un lugar acorde a ellas, lo cual no se logrará tan sólo con buenos deseos, “patrioterismos” desgastados o con políticas parciales, se hacen necesarios esfuerzos sostenidos, inteligentes y debidamente soportados en la evidencia científica.

Por otra parte, es innegable que ejercicios como PISA, son valiosos, pero si y sólo si, trascienden hasta el espacio privilegiado donde se da el hecho educativo: el aula y la escuela[32]. Mientras esto no suceda, no dejarán de ser meros esfuerzos académicos dirigidos tan sólo a expertos, investigadores y periodistas que hagan uso de los mismos para su mejor conocimiento o para denostar esfuerzos y logros. México merece al menos una educación que sea acorde a su nivel de desarrollo humano. Ese puede ser el compromiso inicial, lo demás aun cuando pueda conllevar la mejor buena voluntad, no pasará de ser mera retórica –en su sentido más pobre–, condenando a las nuevas generaciones a no lograr el comportamiento primigenio del sentido de la palabra civilización, el cual supone por sí mismo que cada generación supere tecnológica, científica y educativamente a la anterior. Queda pues el reto para la evaluación educativa de transformarse en un verdadero motor de cambio en educación.

Finalmente deseo concluir este ensayo argumentativo con una frase de Federico Mayor Zaragoza, quien fuera por 12 años Director General de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura, la UNESCO, “en educación MAÑANA SIEMPRE ES TARDE”.

Referencias

Diario Oficial de la Federación, DOF: 15/05/2019. “DECRETO por el que se reforman, adicionan y derogan diversas disposiciones de los artículos 3o., 31 y 73 de la Constitución Política de los Estados Unidos Mexicanos, en materia educativa.” Recuperado de: https://www.dof.gob.mx/nota_detalle.php?codigo=5560457&fecha=15/05/2019

Edwards, V. (1991). “El concepto de calidad de la educación.” Santiago: Oficina Regional de Educación de la UNESCO para América Latina y el Caribe.

Instituto Nacional para la Evaluación de la Educación (INEE). (2006). “Los cuatro primeros años. Avances y desafíos”. México. Recuperado de: https://historico.mejoredu.gob.mx/wp-content/uploads/2019/01/P1D208.pdf

Instituto Nacional de Estadística y Geografía, INEGI. “RESULTADOS DE LA ENCUESTA PARA LA MEDICIÓN DEL IMPACTO COVID-19 EN LA EDUCACIÓN (ECOVID-ED) 2020. DATOS NACIONALES”. México. Recuperado de: https://historico.mejoredu.gob.mx/wp-content/uploads/2019/01/P1D208.pdf

Langhorne Clemens, Samuel (Marck Twain -seudónimo-). Recuperado de: https://www.pinterest.es/pin/337629303288178594/

Oppenheimer, A. (2011). “¡Basta de historias! La obsesión latinoamericana con el pasado y las 12 claves del futuro”. México: Debate.

Organización de las Naciones Unidas para la Educación, la Ciencia, y la Cultura (UNESCO). (1998). “Primer Estudio Internacional Comparativo. Sobre Lenguaje, Matemática y Factores asociados, para alumnos del Tercer y Cuarto grado de la educación básica”. Santiago, Chile: Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación.

Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO). (2015). “Informe de Seguimiento de la EPT en el Mundo 2015. La educación para todos, 2000-2015: logros y desafíos (Resumen)”. París: Autor. Recuperado de http://unesdoc.unesco.org/images/0023/002325/232565s.pdf

Organización para la Cooperación y el Desarrollo Económicos (OCDE). (2001). “Conocimientos y aptitudes para la vida. “PRIMEROS RESULTADOS DEL PROGRAMA INTERNACIONAL DE EVALUACIÓN DE ESTUDIANTES (PISA) 2000).” París. Recuperado de: https://www.oecd.org/pisa/39817007.pdf

Organización para la Cooperación y el Desarrollo Económicos (OCDE). (2007) “El programa PISA de la OCDE. Qué es y para qué sirve”. Recuperado de: https://www.oecd.org/pisa/39730818.pdf

Organización para la Cooperación y el Desarrollo Económicos (OCDE). (2019a). PISA 2018 “Results (Volume I). What Students Know and Can Do”. Recuperado de: https://www.oecd-ilibrary.org/docserver/5f07c754-en.pdf?expires=1633362603&id=id&accname=guest&checksum=D781552BA8F757F0B248A5E5A8AEF2EB

Palafox, J., Prawda, J. y Velez, E. (1992). “Primary School Quality in Mexico”. Banco Mundial en “A view from LATHR; no. 33. Recuperado de: https://documents.worldbank.org/pt/publication/documents-reports/documentdetail/966871468914111890/primary-school-quality-in-mexico y Comparative Education Review. Volume 38, Number 2. May, 1994 (Págs. 167-180). Recuperado de:

https://www.journals.uchicago.edu/doi/abs/10.1086/447240?journalCode=cer&

Palafox, J.C. (2011). “El futuro de la educación mexicana, apoyado en su pasado y visto desde su presente”. En E. Agüera y E. Zebadúa (Comp.) Ensayo publicado en el libro: “La Disputa por la educación. Por el México que queremos” (Pags. 293-333). México: Aguilar.

Palafox, J.C. (2013). "Una Ecuación No Resuelta: Evaluación Educativa Más Capacitación Docente Igual Mejor Calidad Educativa". En J. Díaz de la Torre (Comp.) Ensayo publicado en el libro: "Realidades y Prospectiva Educativa. TOMO II", pp 149-188. Editorial del Magisterio del SNTE.

Palafox, J.C. (2015). “Mitos y realidades de la no selección en educación. Un debate chileno, visto desde una experiencia mexicana”. Ensayo publicado en la Revista Análisis Público, (5). Recuperado de http://issuu.com/analisispublico/docs/an__lisis_p__blico_n__5-2015_8029eb958cdb7f?e=0/14166023#search y en la Revista de Educación y Cultura AZ. (1ª. Parte) Número 91. (Pags. 36 a 41). marzo 2015 http://www.educacionyculturaaz.com/091/091-AZMARZO2015.pdf. (2ª. Parte) Número 92. pp 36 a 41. abril 2015 http://www.educacionyculturaaz.com/092/092-AZABRIL2015.pdf

Palafox, J.C. (2015). “PISA. “Análisis comparado 2000 a 2015. Indicios esperanzadores”. Ensayo publicado en el libro: "Políticas Educativas en América Latina: Notas para la educación en el siglo XXI" http://cresur.edu.mx/2019_/libros2019/6.pdf Primera edición, 2018, (Pags. 140 a 186). arbitrada por la Universidad Intercultural de Chiapas; así como, en la Revista Voces de la Educación Vol.3 Núm. 5 Enero–Junio 2018, Pags. 136-169. http://www.vocesdelaeducacion.com.mx/wp-content/uploads/2018/03/Revista-Vol.3-Num.5.pdf

Programa de las Naciones Unidas para el Desarrollo (PNUD). (2002). “Human Development Report 2002. Deepening democracy in a fragmented world”. New York, Oxford: Oxford University Press. Recuperado de http://hdr.undp.org/sites/default/files/reports/263/hdr_2002_en_complete.pdf

Programa de las Naciones Unidas para el Desarrollo (PNUD). (2018). “Informes de Desarrollo Humano. Recuperado de http://hdr.undp.org/en/global-reports

Real Academia Española. (2018). “Diccionario de la lengua española.” Recuperado de http://dle.rae.es/?id=OnhZjCP

[1] Este ensayo argumentativo, actualiza y complementa uno anterior del mismo autor titulado “PISA. Análisis comparado 2000 a 2015. Indicios esperanzadores”, a partir de los nuevos resultados que aportó el ejercicio de PISA en 2018 y nace a solicitud de la Universidad Autónoma de Nayarit a través de su Unidad Académica de Ciencias Sociales, a los efectos de ser incluido en el proyecto editorial denominado “CIENCIAS SOCIALES Y PROBLEMAS PÚBLICOS.REFLEXIVIDADES PARA LA COHESIÓN SOCIAL” actualmente en proceso de publicación, razón por la cual en virtud de la caducidad de los resultados de PISA2018 ante la próxima publicación de los nuevos resultados de PISA 2022, para diciembre de 2023, se publica abiertamente en el blog de http://jcpps.blogspot.com/ con el objeto de poder compartirlo y dejar constancia del comportamiento de este programa antes del COVID-19 y poder hacer la comparación próximamente a finales del próximo año (2023) post COVID-19.

[2] El autor de este ensayo ha sido consultor internacional en temas de planificación, sistemas de información y evaluación educativa en organismos multilaterales como la UNESCO, la OEI, el Preal y el Banco Mundial; así como de los Ministerios de Educación de Argentina, Bolivia, Chile, Ecuador, El Salvador, México y Uruguay; como también funcionario público en el sector educativo de México. Por otra parte, asume la responsabilidad total por lo aquí expresado y manifiesta que no necesariamente refleja el punto de vista de organismo, gobierno, institución o dependencia alguna.

[3] Program for International Student Assessment, PISA por sus siglas en inglés.

[4] Organization for Economic Co-operation and Development, OECD por sus siglas en inglés u OCDE en español.

[5] México pertenece a la OCDE desde el 18 de mayo de 1994.

[6] Del inglés “Trends in International Mathematics and Science Study”, desarrollado por la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA por sus siglas en inglés).

[7] Desarrollado en el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), que coordina la Oficina Regional de Educación para América Latina y El Caribe de la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO).

[8] No obstante, se hicieron algunas publicaciones que sin presentar los resultados generales comparados, si presentaron explicaciones más específicas sobre los resultados de México y los problemas que a juicio del país se dieron en 1995 y 2000, ejemplo de ello son dos textos publicados por el Instituto Nacional para la Evaluación de la Educación INEE: “Resultados de México 1995 y 2000. Informe Técnico” elaborado por Eduardo Backhoff Escudero y Guillermo Solano Flores, así como “Metodología para evaluar la calidad de las traducciones en pruebas internacionales. El caso mexicano 1995” elaborado por Guillermo Solano Flores, Eduardo Backhoff Escudero y Luis Ángel Contreras Niño.

[9] Este ejercicio de homologación e interpolación de escalas de TIMSS 1996 y LLECE 1997, fue elaborado por el autor de este ensayo en el marco de su trabajo como consultor de la Oficina Regional para América Latina y el Caribe de la UNESCO en 1998 y fue mencionado por Casassus, Juan, en “La Escuela y la (des)igualdad”. LOM Ediciones, primera edición 2003. Concha y Toro 23, Santiago de Chile; segunda edición, Ediciones Castillo, México 2005.

Información que también fue presentada en el marco del “4o. Encuentro de Directivos de Educación Básica de Tlaxcala. Por una educación de Calidad con Equidad” Ixtapa Zihuatanejo, Guerrero. Agosto de 2008. Págs. 71 a 122. Recuperado de: http://www.encuentrodirectivos.org.mx/4to_encuentro/PDFS/doctos_basicos.pdf

[10] Desarrollado por el Programa de las Naciones Unidas para el Desarrollo, PNUD.

[11] Esto deriva de la teoría implícita en la construcción de las escalas de estos estudios (Teoría de la Respuesta al Item TRI y/o Modelo de Rasch) que no consideran el CERO absoluto, sino que dichas escalas giran en torno a las medidas de tendencia central (Media o promedio, Mediana o Moda) y la distancia que cada unidad de medida guarda con dichas medidas.

[12] La aplicación de 2021 se postergó para 2022 a consecuencia del COVID-19, ya que el proceso de levantamiento se debe de hacer con los estudiantes en sus planteles escolares.

[13] Incluyendo algunas áreas económicas que no son países en sí, tales como: Hong Kong, Macao, P S J G China y Ciudad Autónoma de Buenos Aires (CABA) Argentina.

[14] Cómo ya se mencionó en la nota de pie de página anterior, en el caso de Argentina, sólo está representada la provincia de Buenos Aires.

[15] El término más difundido en el medio es el de “Capital Cultural”, término no necesariamente afortunado en virtud de que todo ser humano al pertenecer a cualquier cultura, por ese sólo hecho tiene un capital cultural, por lo que en este texto se usa “Capital Educativo” para el cual el indicador más consistente es el promedio de años de escolarización de los padres de los sustentantes.

[16] La comparabilidad de las áreas disciplinares menores no es un atributo riguroso como el del área de mayor énfasis de cada año, lo cual el autor deja de lado para plantear la comparación simple de los primeros datos publicados por PISA en 2000 con 2018

[17] Por ejemplo, Andrés Oppenheimer en “¡Basta de historias! La obsesión latinoamericana con el pasado y las 12 claves del futuro”, extraordinario periodista que no necesariamente es especialista en educación.

[18] Se recomienda hacer un ejercicio longitudinal que permita reconocer comportamientos más consistentes a lo largo de todos los años de la aplicación de PISA: 2000, 2003, 2006, 2009, 2012, 2015 y 2018.

[19] Igualmente puede ser la expresión del fenómeno estadístico llamado “regresión a la media”, que ocurre con una aplicación recurrente de un instrumento. Puntualización sugerida por la Mtra. Sylvia Schmelkes en un ensayo anterior de mi autoría, lo cual merece un análisis más riguroso del fenómeno para no incurrir en interpretaciones sin un sustento riguroso.

[20] Lo cual desde principios de la década de los noventa del siglo pasado fue detectado en México mediante un estudio de base censal referido en: “Primary School Quality in Mexico”, coautoría de: J. C. Palafox, J. Prawda y E. Vélez (1992), estudio que además, evidenció que el principal predictor de dicho capital es la educación promedio de sus padres.

[21] Para el cálculo de los residuos el autor utilizó el Software SPSS 2016.

[22] Para el cálculo de los residuos el autor utilizó el Software SPSS 2016.

[23] Este estudio fue promovido y coordinado por la Oficina Regional de Educación para América Latina y El Caribe (OREALC), de la UNESCO. El cual convocó a todos los países de la región a participar y que en su informe final se incluyen a 13 de los 19 que conforman la región.

[24] Comisión presidida por Jaques Delors (Francia) e integrada por In’am Al Mufti (Jordania), Isao Amagi (Japón), Roberto Carneiro (Portugal), Fay Chung (Zimbabwe), Bronislaw Geremek (Polonia), William Gorham (Estadounidense y japones), Aleksandra Kornhauser (Eslovaquia), Michael Manley (Jamaica), Marisela Padrón Quero (Venezuela), Marie-Angélique Savané (Senegal), Karan Singh (India), Rodolfo Stavenhagen (México), Myong Won Suhr (República de Corea) y Zhou Nanzhao (China).

[25] Propuesta presentada por el Dr. Carlos Muñoz Izquierdo en una reunión de trabajo celebrada en la Oficina Regional de Educación para América Latina y El Caribe de la UNESCO, en la cual participé, en el marco de los trabajos para la elaboración de indicadores sociales relacionados con la educación, también citada parcialmente en https://historico.mejoredu.gob.mx/definiciones-de-calidad-de-la-educacion-en-el-instituto-nacional-para-la-evaluacion-de-la-educacion/

[26] Las llamadas Islas de plástico:

Great Pacific Garbage Patch (isla de plástico del pacífico) ...

Indian Ocean Garbage Patch (isla de plástico del océano índico) ...

North Atlantic Garbage Patch (isla del océano atlántico) ...

South Pacific Garbage Patch (Isla del pacífico sur) ...

South Atlantic Garbage Patch (isla del atlántico sur).

[27] Sostenibilidad. ISLAS DE PLÁSTICO. UN PROBLEMA GLOBAL.10 febrero 2021. Recuperado de: https://www.thegravitywave.com/islas-de-plastico/

[28] Lo anterior fue reconocido públicamente por quien fuera Subsecretario de Planeación Educativa, y posteriormente Secretario de Educación Pública, Otto Granados, quien comentó que a diciembre de 2017 solo el 30% de la vacancia cumplía con las normas y procedimientos exigidos, hecho del cual fui testigo en una conferencia que diera en el auditorio del extinto INEE y que también fue denunciado por el Instituto Mexicano para la Competitividad A.C. (Clark, 2019).

[29] Naciones Unidas, “Informe: el impacto del COVID-19 en América Latina y el Caribe”, 2020 [en línea]

https://reliefweb.int/sites/reliefweb.int/files/resources/Informe%20-%20El%20impacto %20del

%20COVID-19%20en%20América%20Latina%20y%20el%20Caribe%20%28Julio%202020%29.pdf.

[30] Ibídem.

[31] “Plan de Desarrollo Integral para El Salvador, Guatemala, Honduras y el sur-sureste de México. Síntesis”. Recuperado de: https://repositorio.cepal.org/bitstream/handle/11362/47248/1/S2100199_es.pdf

[32] Idea ya planteada por el autor de este ensayo en el libro “Los cuatro primeros años. Avances y desafíos” (Instituto Nacional para la Evaluación de la Educación [INEE], 2006). Donde expreso: “En cuatro años de vida del Instituto se han alcanzado metas que con anterioridad ni siquiera se planteaban como factibles, hoy día son realidades que vislumbran nuevos retos y que obligan a pensar en el logro ulterior de la evaluación como motor de cambio en educación. Se ha alcanzado mucho y es necesario seguir caminando hasta lograr que el conocimiento, la cultura y la transformación lleguen al interior de esas “cuatro paredes” donde se da el hecho educativo, al aula, al grupo, al docente, a las y los niños y jóvenes; si se logra, entonces se habrá cumplido” (p. 48).

Vistas de página en total

sábado, 15 de octubre de 2022

PISA 2018 vs 2000. "Las Evaluaciones educativas estandarizadas y las definiciones de políticas públicas en Educación”

PISA 2000 – 2018. "Las Evaluaciones educativas estandarizadas y las definiciones de políticas públicas en Educación”[1]

Introducción

Antecedentes.

I. Análisis independiente de los resultados de PISA en Matemáticas ediciones 2000 y 2018.

II. Análisis comparado de los resultados de PISA en Matemáticas 2000 y 2018.

III. Algunas consideraciones previas al análisis correlacionado de los resultados de PISA y el IDH.

IV. Análisis comparado del IDH 2000 y 2018.

V. Análisis de las correlaciones entre PISA y el IDH, para 2000 y 2018.

A Análisis de las correlaciones entre PISA y el IDH, para 2000.

B Análisis de las correlaciones entre PISA y el IDH, para 2018.

VI. Breve reflexión sobre los factores explicativos del rendimiento educativo de entorno escolar.

A. Factores asociados al rendimiento que operan negativamente.

B. Factores asociados al rendimiento que operan positivamente.

VII. Posicionamiento final.

A. Conclusiones.

B. Reflexiones adicionales.

Referencias