Diciembre 2023
"Si es un milagro, cualquier testimonio es suficiente, pero si es un hecho, es necesario probarlo."
Samuel Langhorne Clemens (Mark Twain).
PISA 2022
Palabras clave: evaluación educativa, PISA, análisis
comparativo, desarrollo económico y social, educación, COVID 19 y educación.
Abstract: Due to the relevance of education in the world, this
argumentative essay based on certain background develops a comparative analysis
of the results in Mathematics of the emissions of 2000 -the beginning-, 2018
-pre pandemic- and 2022 -post pandemic- of the Program for the International
Student Assessment (PISA), as a dependent variable not only on the intention
and action of the different actors directly involved in the teaching-learning
process, but also on other independent variables or contexts that They also
gravitate and/or explain said phenomenon. Thus, to contextualize the dynamics
of these educational results, the author crosses the PISA results with the
Human Development Index (HDI) of the same years, as an explanatory variable,
exogenous to the educational systems and independent of the OECD at the time of
the application. The purpose of this analysis is to achieve a more
comprehensive interpretation of these results, their historical behavior, the
possible impact of COVID 19 and the findings that this type of studies can
provide beyond interpretations that are too sophisticated or complex, or also
biased or partial. of the educational phenomenon, as a way to support the
definitions of public policies in education.
Keywords: educational evaluation, PISA, comparative analysis,
economic and social development, education.
Como
ya se ha hecho costumbre en lo que va del Siglo XXI, el sector educativo, y por
ende la sociedad misma, se ve cuestionada educativamente por los resultados del
Programa para la Evaluación Internacional de Alumnos (PISA, por sus siglas en
inglés[3])
realizado por la Organización para la Cooperación y el Desarrollo Económicos
(OCDE)[4],
en términos de la calidad de la educación que se imparte en los países que
participan en este programa, lo cual puede ser una expresión sobredimensionada,
que en términos reales se intentará acotar más adelante.
Más
allá de lo anterior, lo que no se puede poner en tela de juicio es el impacto
mediático que los resultados de PISA conllevan para la opinión pública de los
distintos países participantes, incluyendo a México como miembro de la OCDE[5],
en cuyo caso invariablemente nos vemos ubicados en el último o penúltimo lugar
de los países afiliados a esa Organización, junto a Chile y en compañía –entre
otros–, de los demás países latinoamericanos que no pertenecen a la OCDE pero
que sí participan en PISA, todos los cuales nos ubicamos por debajo de la media
de la distribución del total que participa, sean miembros o no de la OCDE.
Se
suma a esto, la aparición en 2019 de un hecho irruptor de inusitada magnitud
que trastocó todas las dinámicas de nuestras sociedades a nivel global, ya sea
la esfera netamente sanitaria, como también la social, la económica, del libre
tránsito, etc., y por ende, la educativa, que enfrentó tener que cerrar las
actividades presenciales en los centros escolares de todos los niveles,
modalidades y tipos, viéndose forzado abruptamente a migrar de la escuela
tradicional al uso generalizado de herramientas de comunicación e información a
distancia sin estar debidamente preparados para ello.
Por
esta razón, es que quien suscribe estas líneas, considera que más allá de los
sesudos informes que la Organización presenta en cada ocasión, mismos que en
general son sólo de uso especializado y que poco trascienden en el ámbito del
espacio privilegiado donde efectivamente se da el hecho educativo: la escuela,
vale la pena hacer algunas puntualizaciones relacionadas con ciertos sobre y
sub dimensionamientos que se suscitan a partir de este Programa, así como
tratar de ver si en sus resultados tal cual los ofrece la Organización se puede
observar algunos indicios sobre el posible impacto de la epidemia COVID-19,
sólo con la intención de aportar al análisis histórico y de contexto del
fenómeno de los aprendizajes a partir de este Programa en forma más accesible.
Así,
este breve ensayo argumentativo, busca aportar otro tipo de análisis de los
resultados de PISA 2022, desde una visión retrospectiva a partir de sus inicios
en el año 2000 como línea de base y de 2018 como última evaluación previa al
COVID-19, para ello comienza con esta breve introducción que enuncia brevemente
el que se pretende con el texto, así como, cuál es su contenido.
Posteriormente,
se hace una breve referencia a algunos antecedentes que permiten situar el tema
en un contexto más amplio e independiente de PISA, no exhaustivo ni extenso,
sino solo como preámbulo al tema central del texto y su predictibilidad
En
un primer capítulo propiamente dicho, se muestra una interpretación básica e
independiente de los tres ejercicios de PISA 2000, 2018 y 2022.
En
el capítulo 2, se plantean las diferencias entre los tres ejercicios y la
correlación que guardan sus resultados numéricos entre sí, lo cual es prueba de
su confiabilidad y validez interna.
Más
adelante en el capítulo tercero se presentan algunas consideraciones y
reflexiones previas al análisis de las correlaciones entre los resultados de
PISA y el Índice de Desarrollo Humano que elabora (IDH), construido por el
Programa de las Naciones Unidas para el Desarrollo (PNUD), considerado como
variable independiente.
En
un cuarto capítulo, se hace un análisis comparado del IDH de 2002,l de 2018 y
de 2022, con el objeto de determinar su comportamiento histórico, así como
algunos indicios de su confiabilidad y validez como predictor de los resultados
de PISA
Posteriormente,
, como una forma de contextualizar dichos resultados, ponderando aquello que de
suyo es verdadera responsabilidad de los sectores educativos, más allá de otras
variables de contexto que les afectan de manera importante y cuya responsabilidad
no les corresponde en el momento de las evaluaciones, en el quinto capítulo se
entra de lleno al análisis de las correlaciones entre los resultados de PISA y
el IDH para los años de 2000, 2018 y 2022, identificando a partir de ello, lo
que el autor de este texto ha dado en llamar el Índice de Esfuerzo Escolar
(IEE), que no es otra cosa que la diferencia entre el puntaje que se puede
esperar de cada país en función de su mezcla social (IDH), y el realmente
obtenido en las pruebas de PISA, de donde derivan hallazgo muy interesantes que
rompen con la costumbre de los ranking acostumbrados, donde se presenta a los
países a partir de sus resultados llanos sin contextualizar, sin considerar sus
diferencias de origen, ni sus distintos puntos de partida.
En
el sexto capitulo, como un complemento a los anteriores capítulos, se
reflexiona sobre los indicios que los datos aportan sobre un posible impacto en
los niveles de rendimiento educativo derivados del COVID-19, para cerrar con
una breve reflexión sobre los factores explicativos que, si son del resorte de
los sistemas educativos, en especial a partir de la primera investigación que
al respecto se realizó en la región de América Latina y El Caribe por el
Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación
(LLECE).
Como
corolario del ensayo, se presenta el posicionamiento final del autor a través
de una serie de conclusiones, recomendaciones y reflexiones que recogen los
hallazgos más importantes que se desprenden de todo lo analizado y comentado a
lo largo del documento, que buscan contribuir a una interpretación distinta a
la que generalmente se hace de estos resultados, su comportamiento histórico y
las luces que pueden aportar este tipo de estudios a partir de sus datos más
simples y gruesos, sin entrar en sofisticaciones de niveles de desempeño ni
cuestiones de dispersión, errores estándar, grados de libertad, etc.,
indicadores que si bien son más robustos y muy socorridos en la literatura
especializada, en definitiva dicen poco a los lectores legos en estos temas,
indicadores todos que quien desee profundizar más en ellos, los podrá consultar
en los documentos técnicos originales de PISA, IDH y LLECE.
Complementariamente,
como corresponde a este tipo de documentos, al final de este, se dan las
referencias bibliográficas que fueron tomadas en cuenta para la elaboración de
este ensayo argumentativo.
Antecedentes.
Conviene
mencionar que, pese a que en ambos estudios participó México, lamentablemente
en el caso de TIMSS, nuestro país argumentando problemas técnicos retiró sus
datos y nunca fueron publicados en forma comparada[8],
argumento problemas técnicos, que inicialmente también se plantearon en el caso
del estudio del LLECE, pero que finalmente en este segundo caso si fue posible
publicar los resultados comparativamente, pero con una nota de reserva.
Lo
mencionado en el párrafo anterior, es de llamar la atención y pudiera
considerarse como un indicio de un manejo a modo, opacidad, ocultamiento de
información y manipulación de los resultados sobre este tipo de estudios por
parte de la autoridad educativa de turno, pero no es pretensión de este ensayo
entrar en esa discusión, pero si rescatar algunas luces que se pueden derivar
de esos ejercicios en su conjunto.
Así
entonces, lo primero que haremos es vincular los resultados de los dos estudios
antes citados, a los efectos de obtener algunas primeras inferencias, que
trataremos en segundo término de sustentar con el comportamiento de distintas
investigaciones duras que se dieron los siguientes años, y así, en tercer
término, poder sustentar alguna conclusión al respecto.
Otra
consideración inicial, es que para los efectos antes citados y de las demás
comparaciones que se presentan a lo largo del texto, tomaremos como base los
resultados de Matemática de los estudios, ya que dicha disciplina representa
menores riesgos de verse afectada por sesgos de carácter cultural y que además
en el caso de PISA 2022 su énfasis esta puesto en dicho dominio.
Por
otra parte, ambos estudios antecedente están expresados en escalas distintas,
TIMSS con una media de 500 puntos y una desviación estándar de 100 y LLECE con
250 de media y 50 puntos de desviación estándar, por lo que se hace necesario
transformarlas a los efectos de homologarlas mediante su reducción a unidades
de desviaciones estándar; de igual forma, también se hace necesario utilizar un
caso como país ancla que esté presente en los dos estudios y que permita su
vinculación (Colombia); para qué, a partir de todo lo anterior, sea posible
interpolar ambos estudios y acercarnos a cual sería hipotéticamente la posición
de todos los países latinoamericanos que participaron en LLECE 1997 junto con
los que lo hicieron en TIMSS 1996, lo cual se muestra en la Tabla 1 más
adelante; y posteriormente, identificar en otros estudios posteriores si la
hipótesis subyacente de la comparación TIMSS - LLECE se cumple o no (Tabla 2).
Tabla 1. Homologación de escalas a unidades de desviación estándar e interpolación de los resultados de TIMSS 1996 y LLECE 1997[9]
En
términos generales, en la Tabla 1 se puede observar y en algunos casos
hipotetizar que:
1.
Es
posible visualizar la probable ubicación de los distintos países
latinoamericanos que no participaron en el estudio del TIMSS en 1996, a partir
de los resultados obtenidos por Colombia en ambos estudios;
2.
La
gran diferencia observada por Cuba en el estudio del LLECE 1997 con relación al
resto de los países latinoamericanos, ubicaría a este país en el contexto del
estudio del TIMSS 1996 dentro de los 10 países con mayores puntajes (en un
cuarto lugar);
3.
El
resto de los países latinoamericanos, en esta nueva escala, conformarían junto
con la República Islámica de Irán, Kuwait y Sudáfrica, el grupo de más bajos
puntajes, (cuartil 4);
4.
Partiendo
de esta interpolación, México, aun cuando no permitió la publicación comparada
de sus resultados en el estudio de TIMSS-96, se pudo ubicar por encima solo del
antepenúltimo lugar de dicho estudio (lugar 38 de 42); y,
5.
Esta
interpolación, elaborada en 1998, constituyó un pronóstico sobre los posibles
resultados futuros de los países latinoamericanos en posteriores estudios de
carácter internacional, pronóstico que se puede sintetizar como: “si los países
latinoamericanos participan en estudios cuya composición de países sea similar
a la de TIMSS-96, invariablemente se hubicarán por debajo de la media de los
resultados”, hecho que ha confirmado
invariablemente en la mayor parte de los estudios realizados hasta la fecha, mismos
que en general guardan con TIMSS similitud en cuanto al tipo de países
participantes.
Como
apoyo a lo mencionado en el último punto, en la siguiente tabla se sintetizan
los resultados de algunos de los estudios internacionales más importantes
realizados hasta el día de hoy.
Tabla
2. Posición relativa de los países Latinoamericanos en algunos de los estudios
más significativos de evaluación de los aprendizajes anteriores a 2022.
Fuente: Elaboración propia con base a los informes de los estudios citados.
Como
conclusión de la tabla 2, se puede aventurar que las hipótesis derivadas de la
homologación e interpolación realizada, se confirman, y con ello, se puede
intuir que resultados simples de la aplicación de las pruebas estandarizadas de
rendimiento educativo por sí mismos, son en extremo previsibles, por lo que se
hace necesario además de dichos resultados, realizar análisis contextualizados
en función de los factores educativos que los explican y las condiciones que
los predeterminan, lo cual es motivo en alguna medida de lo que más adelante se
expone en este ensayo argumentativo.
I. Análisis
independiente de los resultados de PISA en Matemáticas ediciones 2000, 2018 y
2022.
Antes
de iniciar los análisis, conviene mencionar por una parte, que el estudio base
de este texto, PISA, tiene como población objetivo a los jóvenes de 15 años de
edad que estén inscritos en el sistema educativo de los países, sin importar el
grado que estén cursando; que las muestras son representativas de entre 4,500 y
10,000 estudiantes por país, que el tamaño de muestra permite realizar
inferencias del país en su totalidad, pero generalmente no permite inferencias
por regiones o estados; que lo evaluado no necesariamente guarda una relación
unívoca con los currículos prescritos en los sistemas educativos de los países
participantes, sino que el énfasis de la evaluación está puesto en el dominio
de los procesos, el entendimiento de los conceptos y la habilidad de actuar o
funcionar en varias situaciones dentro de cada dominio; y que, sus instrumentos
son una combinación de preguntas directas con una única respuesta correcta
(preguntas que sólo admiten algunas palabras o algunas frases breves por respuesta,
o que ofrecen múltiples opciones para que el alumno marque alguna o algunas), y
preguntas que requieren que los estudiantes elaboren sus propias respuestas.
Así
mismo, por otra parte, si bien PISA reporta resultados para tres diferentes
áreas de conocimiento (Lenguaje y comunicación, Matemáticas y Ciencias), en el
caso de este trabajo, sólo nos referiremos a las pruebas de Matemáticas con el
objeto de no sobresaturar el texto con demasiados datos que desvíen el foco de
atención del lector de lo que en realidad se quiere trasmitir; como también,
porque en general los comportamientos son más o menos similares para las tres
disciplinas; y, en virtud de que para el autor, dicha disciplina es la más
comparable entre países, ya que es la menos influida por sesgos lingüísticos,
culturales o sociales.
Por
último, los países que se presentan en el texto no necesariamente son todos los
que participan, sino que para el año 2000 se consideran los reportados en el
Informe de PISA de dicho año, pero en otros puntos del documento se eliminan
aquellos que no participan en los tres ejercicios (2000, 2018 y 2022), así como
en otros, sólo se consideran los que pueden relacionarse con el IDH de Naciones
Unidas[10],
que no necesariamente existe para todos los que participan en PISA.
Así entonces, empezaremos por presentar los resultados generales de Matemáticas en PISA 2000, utilizando la escala general de dicho programa, donde la media inicial es aproximadamente de 500 puntos y la desviación estándar de 100 puntos, por lo que las Figuras (gráficos) no parten del cero[11], sino que se muestran a partir de decenas próximas al valor inferior y al más alto, para no saturarlos.
Figura
1. Ordenamiento inicial de los países según los resultados de PISA 2000 en
Matemáticas.
Fuente:
Elaboración propia a partir de los datos publicados por OCDE, 2001. Recuperado
de: http://www.oecd.org/pisa/39817007.pdf
En
una primera lectura de los resultados presentados en la figura 1 anterior,
resalta lo siguiente:
1.
El
total de países participantes en esta primera evaluación de PISA 2000, es de
41, dentro de los más de 200 que existen en el planeta, por lo que en términos
de países, sólo el 20% formó parte de este estudio.
2.
De
los 41, en aquel año, tan sólo 13 no pertenecen a la OCDE y, por ende, es de
suponer que casi todos ellos observaban un Índice de Desarrollo Humano alto o
muy alto según la clasificación del PNUD.
3.
Derivado
de los dos puntos anteriores, es claro que esta evaluación de ninguna manera
representó la educación del mundo, y dado que, de los 41 participantes, 28
pertenecen a la OCDE (68.29%), existió entonces un sesgo notorio de
sobre-representación de los países de esa Organización.
4.
Por
otra parte, sólo cinco de los países participantes fueron latinoamericanos
(Argentina, Brasil, Chile, México y Perú), el 31% de un total de 19 que
integran la región, por lo que tampoco se puede decir que estos resultados
representaron a la región en términos de países, ni de sistemas educativos
nacionales, aun cuando en términos de población sí representaron al rededor del
75%.
5.
Más
allá de la representatividad de los resultados antes mencionada, es evidente
que los países latinoamericanos, en términos de puntaje, ocuparon las últimas
posiciones (34 Argentina, 35 México, 36 Chile, 40 Brasil y 41 Perú), con lo
cual se inicia la estigmatización descontextualizada que algunos medios de
comunicación o pseudo expertos en educación hacen al respecto, y como se verá
más delante, de toda la región.
A
partir de esta evaluación –y durante los siguientes 22 años– recurrentemente se
han dado ejercicios similares cada tres años[12],
donde si bien siempre se evalúan los tres dominios (Lenguaje y comunicación,
Matemáticas y Ciencias) en cada aplicación se va rotando el énfasis de alguno
de ellos, pero siguiendo el mismo esquema ya citado, en este ensayo
consideraremos los resultados en la disciplina de Matemáticas, tanto para 2000
como también para 2018, presentados a continuación.
Figura
2. Ordenamiento inicial de los países según los resultados de PISA 2018 en
Matemáticas.
Fuente:
Elaboración propia a partir de los datos publicados por OCDE, 2018. Recuperado
de:
https://www.oecd-ilibrary.org/docserver/5f07c754-en.pdf?expires=1633045154&id=id&accname=guest&checksum=B6BB9ACA0D16FAD1A3D26865D608924E
.
Prosiguiendo
con el análisis de sus agregados más simples, como se hizo en el caso anterior,
para PISA 2018 podemos rescatar los siguientes hechos o indicios:
1.
18
años después, la cantidad de países pasó de 41 a 75[13],
lo cual sigue siendo una minoría con relación al total de países existentes en
el mundo –tan sólo un 37.5% aproximadamente–, aunque es claro que el Programa
PISA con el pasar de los años, se ha ido consolidando como el referente más
importante del rendimiento educativo a nivel mundial.
2.
Ahora
bien, sigue persistiendo el sesgo en cuanto a la representatividad de la OCDE,
cuyos países representan cerca del 50% del total de los participantes (33).
3.
Por
lo que toca a la representación de los países latinoamericanos, éstos
aumentaron de manera significativa, pasando de sólo cinco en 2000, a 10 países
o áreas económicas[14]
en 2018, lo cual es poco más del 50% de la región en términos de países.
4.
En
cuanto a los resultados propiamente dichos, si bien los puntajes de los países
que pertenecen a la OCDE siguen siendo los que observan los puntajes más altos,
esto no es así en el extremo superior de la escala, ya que tres de los 5
puntajes más altos, no pertenecen a la Organización, lo que pudiera ser
indicativo de que pertenecer a la OCDE no es condición sine cuan non para
obtener los resultados más altos en este tipo de ordenamientos.
5.
Complementariamente,
también es de hacer notar que de las cinco entidades que obtienen los puntajes
más altos, tres pertenecen al oriente, aun cuando una de ellas no es un país,
sino una economía.
6. Por lo que toca a los países latinoamericanos, como resultado de su mayor participación –ahora 10 en lugar de cinco de 2000–, se observa que, si bien ya no son los que tienen los puntajes menores como en 2000, sí obtienen puntajes por debajo de la mitad de la distribución, pertenezcan o no a la OCDE y los diez están ubicados dentro de los 20 de menores puntajes de toda la distribución.
Figura
3. Ordenamiento inicial de los países según los resultados de PISA 2022 en
Matemáticas.
Elaboración propia a partir de los datos publicados por OCDE, 2022. Recuperado de: https://www.oecd-ilibrary.org/docserver/53f23881-en.pdf?expires=1701799082&id=id&accname=guest&checksum=55D31C6274F717E9BAA40CC3F0E2D13B#page=312&zoom=100,53,86
Prosiguiendo
con el análisis de los agregados más simples, como se hizo en los casos
anteriores, para PISA 2022 (Figura 3) podemos rescatar los siguientes hechos o
indicios:
1.
Para
2022 se incrementan los países y economías participantes de 41 en 2000 y 75 en
2018 a 81, equivalentes a un 97% de aumento con respecto a 2000 y un 8% con
respecto a 2018.
2.
Así,
en definitiva los participantes en 2022 en términos de países representan
aproximadamente un 41% del total de 200 considerado para el total del mundo,
cifra que se reduce si se considera que en la muestra de participantes algunos
son economías y no países.
3.
En
2022 se reduce marginalmente el sesgo de países mayoritariamente con Índices de
Desarrollo Humano Alto o Muy Alto al incorporarse algunos países de desarrollo
medio, pero ninguno de desarrollo bajo.
4.
En
síntesis la representatividad del estudio es menor al 50 % de países del
planeta y casi en su totalidad de desarrollo alto y muy alto.
5.
Por
lo que corresponde a Latinoamérica, la representación nuevamente se incrementa
al pasar de los 10 de 2018 a 12 del total de 19 existentes, o sea, en términos
de países participa el 63% de la región.
6.
En
cuanto a resultados promedio propiamente dichos, el comportamiento general es
muy similar a 2018, repitiéndose en 2022 que si bien los países que pertenecen
a la OCDE siguen siendo los que observan puntajes altos, esto no es así en el
extremo superior de la escala, ya que cuatro de los 5 puntajes más altos
(Singapore, Macao (China), Chinese Taipei, Hong Kong (China), no pertenecen a
la Organización (solo Japón pertenece), indicativo de que pertenecer a la OCDE
no es condición sine cuan non para obtener los resultados más altos en este
tipo de ordenamientos.
7.
Complementariamente,
también es de hacer notar que de las cinco entidades que obtienen los puntajes
más altos, las cinco pertenecen al oriente, aun cuando tres de ellas no
representan a países completos, sino una economía o ciudad.
8.
Por
lo que toca a los países latinoamericanos, si bien no son los que tienen los
puntajes menores como en 2000, pertenezcan o no a la OCDE obtienen puntajes por
debajo del promedio de la OCDE, por debajo de la mitad de la distribución, y
los 12 están ubicados dentro de los 30 de menores puntajes de toda la
distribución, confirmatorio de la predicción hecha por el autor de este ensayo en 1998, lo cual
da cuenta de lo predecible en términos generales de los resultados de este tipo
de estudios, de lo que se hará un análisis más detallado e iluminador más
adelante al referirnos al IDH.
Finalmente y como complemento a el comportamiento mostrado anteriormente de los tres ejercicios objeto de este ensayo, se presentan sin contextualizar los resultados históricos de las áreas del conocimiento evaluadas por PISA en todas sus aplicaciones desde 2000.
Figura
4. Tendencias de México en Lenguaje, Matemáticas y Ciencias
Fuente: Elaborado por Laura Frade Rubio (2023).
En
la Figura 4 se observa claramente una baja inicial de la primera aplicación a
la segunda (2000 a 2003), después un repunte en las dos siguientes aplicaciones
(2003 a 2009), para cerrar con un comportamiento más o menos estable a la baja
de 2009 a 2022 con un leve repunte en 2018 y una baja pronunciada de 2018 a
2022.
Este comportamiento histórico e integral al igual que lo presentado en forma específica solo para Matemáticas antes, muestran los puntajes obtenidos por los distintos países y puntualmente por México, sin considerar el contexto, lo cual corresponde a un indicador sumamente útil que indica la posición relativa de los distintos países en este tipo de ejercicios, con la virtud de permitir a los sistemas reconocerse en el contexto internacional y ver cual es su avance simple a este respecto, pero de ninguna manera esto es suficiente ni da una idea objetiva de cual es el verdadero lugar que cada país ocupa en el concierto internacional según los diferentes contextos en que se da el hecho educativo, contexto que en gran medida es determinante en este tipo de evaluaciones como se verá más adelante en este mismo ensayo.
II.
Algunas consideraciones previas al análisis correlacionado de los resultados de
PISA y el IDH.
Llegados
a este punto, conviene hacer un señalamiento fundamental en este texto. Hasta
aquí, si el lector ha sido suspicaz, se habrá dado cuenta que nunca se emplean
los términos “mejor(es)”, “buenos” o “peor(es)”, “malos”, para referirme a los
puntajes o comportamientos de los países como en algunos casos se hace en los
medios, sino que siempre me he referido a “mayor” o “menor”, más “alto” o más
“bajo”; lo anterior, no es una distinción gratuita, casual o pecata minuta,
sino que detrás de ello hay toda una justificación etimológica, epistemológica
y hermenéutica, en función del significado estricto al que aluden dichas
expresiones, en el que conviene detenernos a los efectos de comprender con
mayor claridad las dificultades y las consideraciones latentes en cuanto a uno
de los términos más mencionados de la literatura educativa y cuya definición
aún no logra unanimidad: la calidad de la educación.
Por
ejemplo, ya Verónica Edwards (2001, p. 44) en su libro “El concepto de la
calidad de la educación” nos adelantaba una luz acerca de dicho término,
indicando que “la Calidad de la Educación no es un significado, sino un
significante”, con lo cual pone en el centro del debate educativo la dificultad
de poder asir una definición que deje satisfechos a todos los actores
educativos y a la sociedad en general; más aún, la propia Organización de las
Naciones Unidas para la Educación la Ciencia y la Cultura (UNESCO, por sus
siglas en inglés) en su Informe Mundial de Seguimiento de la Educación Para
Todos de 2005 (UNESCO, 2005), el cual subtitula como “EL IMPERATIVO DE LA
CALIDAD”, apunta:
“…existen múltiples dificultades para
definir el concepto de calidad educativa, razón por la que se ha optado hasta
el momento por referirnos a ella a través del manejo que logran los alumnos de
las competencias básicas para el aprendizaje, expresadas fundamentalmente por
el dominio del lenguaje y el cálculo básico, llegando en casos más avanzados a
las ciencias naturales o exactas, y muy excepcionalmente a las ciencias
sociales.”
Lo cual no nos exime de reconocer
–siguiendo lo expresado por la misma fuente–, que:
“Los distintos enfoques de la calidad
de la educación tienen sus raíces en las distintas corrientes del pensamiento
pedagógico. Los planteamientos humanistas, las teorías del behaviorismo, las
críticas sociológicas de la educación y los cuestionamientos de las escuelas
del colonialismo han enriquecido los debates sobre la calidad y han generado
visiones diferentes de la manera en que se deben alcanzar los objetivos de la
educación”
Visto lo anterior y lo que la mayor
parte de las investigaciones “duras” realizadas en el mundo en los últimos años
indican, en cuanto a lo multifactorial y multidimensional del fenómeno
educativo, resalta la dificultad de usar con rigor y exactitud los términos
“mejor” o “peor”, y juzgar así a tal o cual país en función de los resultados
simples de este tipo de ejercicios, como se hace frecuentemente en algunos
medios masivos de comunicación u otros escenarios; de la misma forma, que
tampoco se pueden hacer ese tipo de juicios de valor en casi ninguno de los
diferentes niveles de desagregación posibles, como lo son las provincias o
estados dentro de los países, los municipios, los sectores educativos, las
zonas escolares, las escuelas mismas, los grupos o hasta los alumnos en
particular, en virtud de que más allá de sus esfuerzos y voluntad, generalmente
gravitan sobre sus resultados otras variables, que aun cuando no necesariamente
son determinantes, sí, insisto, tienen una gran influencia en ellos.
La expresión “mejor”, en tanto
adjetivo calificativo, en el Diccionario de la Lengua Española (Real Academia
Española, 2018) nos indica en su primera acepción: “superior a otra cosa y que
la excede en una cualidad natural o moral”.
Decir
“mejor” o “peor” conlleva una connotación de superioridad o inferioridad
cualitativa entre quienes son comparados, a los cuales se les imputa una
condición inicial de igualdad, lo cual en este caso no es así. Los países y,
por ende, los distintos niveles de desagregación posibles no son necesariamente
iguales, no son “mejores” o “peores” con relación a los otros a partir de estos
puntajes, en virtud de que sus puntos de partida y circunstancia son o pueden
ser diametralmente distintos.
Por
todo lo anterior, los términos que se usan en este texto son “mayor” o “menor”,
los cuales hacen referencia a una medición referida a un mismo patrón –tal cual
la altura o el peso de los individuos es “mayor” o “menor” con respecto al
patrón metro o kilogramo– sin que ello suponga a priori ningún juicio de valor
cualitativo en sí. Ello no implica renunciar a tratar de aproximarnos a
mediciones más finas que nos den una idea más cercana a la sustancia
cualitativa del fenómeno, lo cual en un ensayo de esta magnitud no se pueda
lograr, pero sí, buscaremos abrir el debate a otro tipo de mirada que “empareje
la cancha” un poco para todos, permitiendo comparaciones quizá más justas,
realistas y por ende legítimas, que nos lleven a conclusiones y distinciones
mejor informadas.
III.
Análisis comparado del IDH 2000, 2018 y 2022.
Tomando
en consideración que el factor externo que más influencia tiene en los
resultados de evaluaciones estandarizadas como PISA es el capital educativo de
las familias de los sustentantes, en específico el grado educativo máximo
promedio de los padres de los estudiantes (Palafox, et al. 1992)[15],
se buscó un indicador que pudiera equipararse con dicho factor o predictor,
encontrando que el más consolidado, consistente, válido, confiable y comparable
que existe a nivel de países y que además es independiente al estudio de PISA,
es el Índice de Desarrollo Humano (IDH) que genera el PNUD; por lo que a falta
de otro mejor, más adelante haremos algunas correlaciones y regresiones donde
el IDH será la variable independiente y el puntaje promedio de los países en
Matemáticas de PISA la variable dependiente, con lo cual podremos medir las
diferencias de los puntajes de los países en PISA por encima o por debajo de lo
que sería esperable en función del nivel de su IDH.
Así,
entonces, y a manera de introducción, empezaremos por hacer solo algunas
puntualizaciones sobre el IDH con relación a los mismos años de la aplicación
de PISA que hemos venido analizando, 2000, 2018 y 2022.
Figura
5. Comparativo de IDH 2000, 2018 y 2022.
Fuente: Elaboración propia a partir de los datos publicados por PNUD, 2000, 2018 y 2022.
Del
análisis de la Figura 5 anterior se puede observar que:
1.
Consistentemente
todos los países de la comparación incrementan sus Índices de Desarrollo Humano
entre 2000 y 2018.
2.
A
diferencia de lo anterior, entre 2018 y 2022 el comportamiento no es
consistentemente creciente, aunque si mayoritariamente lo es, así 31 países
crecen, 6 decrecen, Mexico incluido en ellos (de 0.767 a 0.758) y 2 practicamente permanecen igual.
Conviene
mencionar que con independencia del crecimieto o decrecimiento del IDH en los
años comprados, los indicadores
estadísticos de la correlación de ambas variables comparadas son:
1.
Entre
2000 y 2018, para y = 0.7758x + 0.2535 el coeficiente de determinación o R2 es
de 0.9316
2.
Entre
2000 y 2022, para y = 0.8166 x + 0.2297 el coeficiente de determinación o R2 es
de 0.908
3.
Coeficientes
ambos que dan cuenta de que el IDH es una variable muy robusta y consistente
internamente.
Finalmente,
aún cuando este indicador ofrece múltiples facetas interesantes de análisis, no
se abundará en ello, en virtud de nos ser ese el objeto de este ensayo, sino su
relación con los resultados de PISA y su contextualización.
IV.
Análisis comparado de los resultados de PISA en Matemáticas 2000, 2018 y 2022.
Dejaremos
hasta aquí el análisis por separado de las aplicaciones de PISA y del IDH, para
proceder a explorar algunos indicios que ofrece el análisis de los resultados
de 2000, 2018 y 2022 conjuntamente y la correlación.
Previo a estos análisis hay que considerar algunos criterios básicos que les den sustento:
1.
Si
bien se reconoce que un examen (de papel y lápiz y/o por computadora) que se
aplica cada tres años, no es prueba suficiente para emitir un juicio de valor
absoluto sobre la calidad de los sistemas educativos de los países, su
aplicación reiterada y la consistencia de los comportamientos observados a lo
largo del tiempo, 22 años y ocho aplicaciones distintas, sí es un indicio que
puede dar luces sobre lo que está pasando; tal cual puede ser para una persona
tomarse la temperatura corporal en repetidas ocasiones y que su lectura indique
en todas más de 40° o menos de 34°, hecho que es razón suficiente para
sospechar que algo no está bien y se hace necesario obrar en consecuencia.
2.
De
igual forma, se reconoce que los resultados o logros que reflejan estas
investigaciones no representan tan sólo el quehacer e intencionalidad de los
propios alumnos, educadores, directivos, autoridades de los sistema educativos
de los países en sí, sino que adicionalmente –tal cual indica la literatura
sobre el tema–, existen factores exógenos al sistema educativo, que gravitan de
manera importante en dichos resultados, dentro de los que destaca el Capital
Educativo de las familias de los sustentantes[16].
3.
Por
tanto, en este mismo sentido a falta de un mejor indicador del Capital
Educativo de las familias de los sustentantes de PISA -como el nivel educativo
de sus padres-, para efectos de nuestro análisis y la contextualización de los
resultados de PISA, más adelante introduciremos en la ecuación el IDH que
elabora el Programa de las Naciones Unidas para el Desarrollo (PNUD) como un
elemento de probada confiabilidad, validez y comparabilidad a nivel
internacional, que además es independiente a la prueba PISA.
4. Considerando lo dicho en el párrafo anterior, para realizar el análisis comparativo siguiente, sólo se enunciarán los países que hayan participado en las tres aplicaciones, que además cuenten con el IDH para los tres años.
Tabla
3. Puntajes comparado de matemáticas PISA 2000, 2018 y 2022 y sus diferencias
aritméticas inter-anuales. Países que participaron en los tres ejercicios.
Fuente: elaboración propia con información de OCDE, 2000, 2018 y 2022 mencionados anteriormente.
Figura
6. Diferencias de puntajes de los resultados de PISA 2000, 2018 y 2022 en
Matemáticas.
Fuente: elaboración propia con información de OCDE, 2000, 2018 y 2022 mencionados anteriormente.
Una
lectura inicial de los resultados comparados de los tres ejercicios mostrados
en la Tabla 3 y la Figura 6 –presuponiendo que los instrumentos aplicados son
equivalentes en cuanto al grado de dificultad–, nos indicaría lo siguiente:
1.
36
de los 41 países originales de 2000 también participaron en 2018 y en 2022, de
los cueles 21 pertenecen a la OCDE.
2.
Ningún
país repite el mismo puntaje y las diferencias son tanto de incremento como de
decremento, donde el decremento en las tres comparaciones, da indicios de
algunos comportamientos que llaman la atención.
a.
Entre
2000 y 2018 si bien hay incremento y decrementos, estos tienden más a
compensarse y en suma 17 países incrementan y 20 decrecen, pero en la suma de
las diferencias de los puntajes promedio de los países de la comparación el
saldo es favorable a crecer con 121 puntos.
b.
En
las otras comparaciones la situación es notoriamente diferente, en las dos
(2022 - 2000 y 2022 - 2018) la tendencia es más acentuada al
decrecimiento, 8 países crecen y 27
decrecen en 2022 -2000, en tanto que en 2022 - 2018 solo 2 crecen y los otros
34 países decrecen; lo anterior en términos de suma de los promedios de los
países de la comparación son números negativos en los dos casos (decrementos),
entre 2000 y 2022 o sea en un periodo de veintidos años se cae en -454 el
puntaje del promedio de los países de la comparación, en tanto que entre 2018 -
2022, en tan solo 4 años, la caída es de -575 puntos.
c.
Una
interpretación plausible de esta última importante caída del promedio en la
comparación de 2022 - 2018 es el efecto global del COVID 19, lo cual merece un
análisis más profundo que esta mera referencia del hecho y seguramente va a ser
objeto de múltiples cavilaciones y hasta tesis doctorales, donde por ejemplo,
se compare este comportamiento contra las tasas de mortalidad por COVID-19 a
los efectos de comprobar o negar esta hipótesis o interpretación causal.
3.
En
cuanto al caso concreto de México y los países latinoamericanos:
a.
Entre
2018 - 2000 nuestro país (+22) junto con la mayoría de los países
latinoamericanos obtienen saldos a favor, en tanto que solo en el caso de
Argentina su promedio decrece (-9).
b.
Destaca
en términos de crecimiento Perú, que obtiene el mayor crecimiento de todos lo
países de la comparación sean latinoamericanos o no, con +108 puntos.
c.
En
este mismo sentido, es de destacar que junto con Perú, Brazil y Chile son los
países que encabezan los países que crecen a nivel global.
d.
Para
la comparación 2022 - 2000 los puntajes promedio decrecen entre los dos años
de la comparación.
e.
Por
último, al comparase 2022 - 2018, todos los países latinoamericanos decrecen,
por lo que igualmente es válido atribuir este decrecimiento generalizado al
COVID-19.
Conviene
mencionar que con independencia del crecimiento o decrecimiento de los puntajes
promedio de PISA en los años comprados,
los indicadores estadísticos de la correlación entre estos años es de:
1.
Entre
2000 y 2018, el coeficiente de determinación o R2 es de 0.833
2.
Entre
2018-2022, el coeficiente de determinación o R2 es de 0.924
3.
Entre
2000 y 2022, el coeficiente de determinación o R2 es de 0.817
4. Coeficientes todos que dan cuenta de que los puntajes de PISA son una variable robusta y consistente internamente.
Por
último, en adición a este análisis comparado de los resultados de PISA 2000,
2018 y 2022, más adelante como una forma de contextualizar dichos resultados,
se presentan y analizan su correlación con el IDH de los mismos años.
A. Análisis de las correlaciones
entre PISA y el IDH, para 2000.
En
este punto adicionalmente a la correlación de ambas variables que se muestra en
el Figura 7 y en la Tabla 4 asociada, se extrae la distancia que hay entre el
puntaje logrado en PISA y el que según el IDH de cada país era previsible que
obtuvieran, con lo que se construye lo que proponemos como Índice de Esfuerzo
Escolar IEE (conocido en estadística como residuos), como una forma de
contextualizar los resultados de PISA y acercamos a identificar de mejor forma
lo que cada sistema educativo aporta o deja de aporta al aprendizaje de los
estudiantes que representa PISA.
Figura
7. Correlación los puntajes de PISA y el IDH para el año 2000.
Fuente: elaboración propia con información de PNUD y OCDE, 2000, citadas en las ilustraciones anteriores.
Tabla
4. Ordenamiento de países por el puntaje diferencial entre lo esperado, según
su IDH 2000 y lo realmente obtenido en PISA 2000 (Índice de Esfuerzo Escolar
[IEE] o Residuos[17]).
Fuente: elaboración propia con información de PNUD y OCDE citadas en las ilustraciones anteriores.
De
la Figura. 7 y su consecuente Tabla 4, entre otras cosas se puede comentar que:
1.
Este
gráfico y su tabla incluyen todos los países y economías que participaron en
PISA 2000 y para los cuales existe el IDH para el mismo año.
2.
El
R² del ejercicio es de 0.6380, lo cual da cuenta de una correlación lineal
importante entre ambas variables, por lo que se confirma al IDH como un buen
predictor del puntaje de PISA; dicho coloquialmente “más de la mitad de las
variaciones de los puntajes de PISA, se puede intuir que son explicadas por el
IDH”.
3.
Por
otra parte, si partimos del supuesto de que el Residuo resultante corresponde a
la diferencia entre el puntaje esperado de cada país dado su IDH (línea de
regresión o pronóstico, línea azul punteada) y el puntaje realmente logrado, se
puede considerar que dicho residuo representa lo que el sistema educativo
aporta o deja de aportar al rendimiento educativo reflejado en los puntajes
PISA, lo que el autor propone que sea considerado como el Índice de Esfuerzo
Escolar IEE (Palafox, 2011).
4.
Dicho
lo anterior, se puede plantear como hipótesis que esto nos acerca más a una
medición de los “mejores” y “peores” puntajes (IEE), y no tan sólo de los
mayores y menores como hasta ahora.
5.
Considerando
el IEE, las posiciones cambian con relación al ordenamiento original publicado
por PISA.
6.
En
el extremo superior del nuevo ordenamiento por IEE. Se observa que los cinco
primeros lugares (marcados con VERDE), Hong Kong el 1° no varían en su posición
y Corea 3° lugar originalmente sube al puesto 2º, mientras que Japón
originalmente 2º pasa al 5º, Nueva Zelanda que era el 4º pasa al 10º y
Finlandia originalmente el 5º desciende al 9º, en tanto que son rebasados por
la Federación Rusa 3º (+18) y Tailandia 4º (+25).
7.
Por
contrapartida en el otro extremo del ordenamiento (marcados con NARANJO), el
nuevo ordenamiento por IEE igualmente observa ciertas consistencias y algunas
sorpresas. En cuanto a las primeras, Perú lugar 38º sigue en el mismo, en tanto
que Argentina desciende del 31° al 37°, Luxemburgo del 28 al 36, Brasil del 37º
al 35° y Chile del 33° al 34°, pero Macedonia sube del lugar 35° al 24° e
Indonesia del 36° al 25°.
8.
Con
independencia de los comportamientos de los primeros y últimos cinco lugares
vistos en los dos puntos anteriores, es prudente llamar la atención de los
casos más extremos, aquellos que tienen las mayores diferencias entre lo
logrado y lo esperado según su IDH. En primer término, está Hong Kong, que
presenta la mayor diferencia positiva con +72.33, indicio de que puede ser el
mejor sistema educativo en el año 2000 de los países incluidos en ese
ejercicio; en tanto que Perú, con una diferencia de -101.20 podría considerarse
el sistema más ineficaz de la comparación en PISA 2000.
9.
Así
mismo, en términos de cambio en su posición relativa, los países que muestra
mayor ascenso son Tailandia e Indonesia que ascienden +25 posiciones, del 29º
al 4º y del 26° al 11°, en tanto el país que pierde más posiciones es Noruega
-17 posiciones, pasando del lugar 16º al 33º.
10.
En
el caso de México la diferencia entre los 387 puntos logrados en PISA 2000 y lo
esperado 409.79, según su IDH, es de -22.79 puntos, lo cual quiere decir que el
sistema educativo mexicano a pesar de estar por debajo de lo esperado, su
posición relativa según el IEE sube 4 lugares, pasando del 32º al 28º,
situación que matiza las aseveraciones de que nuestro país es el “peor” sistema
educativo de la OCDE, ya que por IEE en 2000 está por encima de Alemania,
Estados Unidos, Italia, España, Noruega, Chile, Brasil, Luxemburgo, Argentina y
Perú, de los cuales Alemania, Estados Unidos, Italia, España, Noruega, Chile y
Luxemburgo son actualmente miembros de la OCDE.
A. Análisis
de las correlaciones entre PISA y el IDH, para 2018.
Visto
lo anterior, procederemos a hacer el mismo ejercicio para 2018, a los efectos
de aportar la información correlacionada entre ambas variables para este año, y
así, ir acercándonos a una visión más completa de la evolución del fenómeno,
posteriormente se presenta una tabla solo con los países que participaron en
2000 y 2018, que muestra como se ordenan los países si se re-calculan sus
resultados a partir del puntaje esperado según su IDH.
Figura
8. Dispersión de países en función del puntaje de PISA y el IDH de 2018.
Fuente: Elaboración propia con información del PNUD y la OCDE 2018,
Tabla 5. Ordenamiento de países por el puntaje diferencial entre lo esperado según su
IDH 2018 y lo realmente obtenido en PISA 2018 (Índice de Esfuerzo Escolar IEE o
residuos[18]).
Fuente: elaboración propia con información de PNUD, 2018 y OCDE, 2018.
De
la Figura 8 y su consecuente Tabla 5, entre otras cosas se observa que:
1.
Este
gráfico y su tabla incluyen todos los países y economías que participaron en
PISA 2018 para los cuales existe el IDH para el mismo año y que además
participaron en 2000.
2.
El
R² del ejercicio para 2018 es de 0.6977, aún más que lo que ocurre para 2000,
lo cual nuevamente da cuenta de una correlación lineal importante entre ambas
variables, por lo que se reconfirma el IDH como un buen predictor del puntaje
de PISA.
3.
Siguiendo
el mismo criterio de análisis que se hizo para 2000, considerando el IEE, las
posiciones cambian para 2018 con relación al ordenamiento original de la OCDE,
al igual que en aquel año.
4.
En
el extremo superior del nuevo ordenamiento por IEE (los cinco primeros
lugares), ahora en primer sito aparece la Federación Rusa quien pasa del lugar
22 al 1, así mismo, Polonia, Hong Kong y Corea se mantienen dentro de las 5
primeras posiciones, Polonia sube una posición, de 3° al 2° lugar, Hong Kong
baja del 1° al 3° y Corea del 2° al 5°, en tanto que Suiza y Canadá salen de
los primero 5 lugares, al pasar del Suiza del 4° al 20° y Canadá de 5° al 12°,
incorporándose al grupo de los primeros cinco Letonia que pasa del 16° al 4°.
5.
En
el otro extremo del ordenamiento, donde los puntajes son originalmente los más
bajos, Brasil y Argentina se mantienen en este grupo, el primero sube del 36°
al 35°, y el segundo, baja del 37° al 38°; en tanto que se incorporan Estados
unidos que baja del 27° al 34°, España del 25° al 36° y Chile del 32° al 37°,
mientras por otro lado salen del grupo Macedonia que pasa del 35° al 29 y Perú
que pasa del 34° al 24°.
6.
Con
independencia de los comportamientos de los primeros y últimos cinco lugares
vistos en los dos puntos anteriores, es prudente llamar la atención sobre los
casos más extremos, aquellos que tienen las mayores diferencias entre el lugar
logrado originalmente y el nuevo que ocupan por IEE. En primer término, la
República Rusa e Indonesia países ambos que tienen un incremento de 21 lugares
a favor, mientras que nuevamente al igual que en 2000 Noruega es el país que
presenta la mayor pérdida considerando su puntaje original y el IEE, perdiendo
por IEE 20 posiciones, del 11° al 31°
7.
En
el caso de México, al considerar el IEE, se destaca que pasa del lugar 33º
original del ordenamiento de PISA 2018, al 21º, o sea que avanza 12 lugares y
queda a tan sólo -3.0575 puntos por debajo del esperable según su IDH, lo cual
nuevamente es un indicio de que si bien hay tareas pendientes en materia
educativa, se desmiente las aseveraciones de que nuestro país es el “peor”
sistema educativo de la OCDE, al quedar para 2018 por IEE por encima de Nueva
Zelanda 23º, Suecia 25º, Japón26°, Luxemburgo 27º, Alemania 28º, Islandia 30º,
Noruega 31º, Australia 32º, Grecia 33º, Estados Unidos 34º, España 36º y Chile
37º.
C. Análisis de las
correlaciones entre PISA y el IDH, para 2022.
Toca
ahora repetir el mismo análisis para 2022, a los efectos de aportar más
elementos, y así, ir acercándonos a una visión más completa y comprensiva de un
fenómeno de suyo complejo y multifactorial. Para estos efectos en la gráfica
siguiente se muestra al total de los países participantes en PISA 2022 con
excepción de los que no tienen IDH para el mismo año, identificando
nominalmente solo algunos de ellos para no recargar el gráfico, los que más se
alejan positiva o negativamente de la línea de regresión, así como los países
latinoamericanos, posteriormente se presenta una tabla solo con los países que
participaron en 2000, 2018 y 2022, que muestra como se ordenan los países si se
re-calculan sus resultados a partir del puntaje esperado según su IDH.
Figura
9. Dispersión de países en función del puntaje de PISA y el IDH de 2022.
Fuente: Elaboración propia con información del PNUD y la OCDE 2022,
Tabla 6. Ordenamiento de países por el puntaje diferencial entre lo esperado según su
IDH 2022 y lo realmente obtenido en PISA 2022 (Índice de Esfuerzo Escolar IEE o
residuos[19]).
Fuente: Elaboración propia con información del PNUD y la OCDE 2022.
De
la Figura 9 y su consecuente Tabla 6, entre otras cosas se observa que:
1.
Este
gráfico y su tabla incluyen todos los países y economías que participaron en
PISA 2022 para los cuales existe el IDH para el mismo año y que además
participaron en 2000.
2.
El
R² del ejercicio para 2022 es de 0.6254, estadísticamente similar a lo que
ocurre para 2000, lo cual nuevamente da cuenta de una correlación lineal
importante entre ambas variables, por lo que se reafirma el IDH como un buen
predictor del puntaje de PISA.
3.
Siguiendo
el mismo criterio de análisis que se hizo para 2000 y 2018, considerando el
IEE, las posiciones cambian para 2022 con relación al ordenamiento original de
la OCDE, al igual que en los dos años anteriores.
4.
En
el extremo superior del nuevo ordenamiento por IEE (los cinco primeros
lugares), ahora en primer sito aparece la Japón que sube un lugar, así mismo,
mejoran Korea y Hong Kong que cambian de posición pero se mantienen dentro de
los 5 primeros. Por otra parte, salen de este grupo Canadá y Suecia que pasan
del 5 al 9 y del 4 al 11 respectivamente, dando espacio Latvia del 15 al 4 y
Polonia del 7 al 5.
5.
En
el otro extremo del ordenamiento, donde los puntajes son originalmente los más
bajos, Argentina el el único país que se mantiene en este grupo, Indonesia,
Perú, Brazil Y Tailandia salen del grupo mejorando su posición en 14, 8, 5 y 1
lugar respectivamente, en tanto que ocupan los lugares que ellos dejan Noruega
(del 24 al 32), Grecia (del 28 al 32), Chile (del 30 al 34) e Islandia (del 26
al 35).
6.
Con
independencia de los comportamientos de los primeros y últimos cinco lugares
vistos en los puntos anteriores, es prudente llamar la atención sobre los casos
más extremos, aquellos que tienen las mayores diferencias entre el lugar
logrado originalmente y el nuevo que ocupan por IEE. En primer término, Hungría
y Portugal son los dos países que remontan más posiciones, ambos con 14; en
tanto que negativamente Irlanda es el país que mas posiciones pierde, con menos
11.
7.
En
el caso de México, al considerar el IEE, destaca que pasa del lugar 31º
original del ordenamiento de PISA 2022, al 20º, o sea que avanza 11 lugares y
queda a tan sólo -3.495 puntos por debajo del esperable según su IDH,
diferencia muy similar a la lograda en 2018 pero mejor a pesar del
comportamiento generalizado a la baja del puntaje PISA, lo indudablemente es un
indicio de que si bien aún no se logra el nivel esperable, el comportamiento no
es negativo y que de acuerdo a la mezcla socioeducativa de contexto (IEE)
México queda por encima de Finlandia, Indonesia, Australia, Nueva
Zelanda, Perú, Suecia, Estados Unidos, Alemania, Brazil, Israel,
Tailandia, Noruega, Grecia, Chile, Islandia y Argentina, de los cuales
la mayoría son países miembros activos actualmente de la OCDE (solo Indonesia,
Perú, Brazil, Talandia y Argentina, no lo son), visión que rompe con las
afirmaciones descontextualizadas que de manera tendenciosa o “amarillista” llaman
a la descalificación del sistema educativo mexicano per sé equivocadamente.
Llegados a este punto, podemos conjumtar al menos gráficamente para no saturar más este texto con demasiados números, los resultados de 2000, 2018 y 2022. combinado PISA y IDH.
Figura
10. Dispersión de países en función del puntaje de PISA en matemáticas y el IDH
de los años 2000, 2018 y 2022.
Fuente: elaboración propia con información de PNUD 2000 y 2018; OCDE 2001 y 2018.
De
la Figura 10 comparativa, se puede comentar que:
1.
En
el gráfico se incluyen los países o economías que participan en PISA 2000, 2018
y 2022, que además tienen IDH para los 3 años.
2.
Se
observa cierta consistencia y simetría en el comportamiento de 2000 y 2018
donde las dos líneas de tndencia o regresión no se sobreponen pero si tienden a
ser paralelas, lo cual se puede interpretar de la siguiente forma:
a.
Las
líneas de regresión reflejan el incremento generalizado del IDH, done en 2018
parte de un valor superior al de 2000 conforme se vio en las primeras
ilustraciones de este documento, en que se analizan en forma independiente los
resultados de PISA y el IDH de los países en ambos años.
b.
Así
mismo, dichas líneas son de diferente longitud debido a la reducción en la
dispersión de los valores del IDH entre 2000 y 2018.
c.
Aún
cuando ambas variables tienen un comportamiento al alza, es más notorio el caso
del IDH.
d.
México
entre estos dos años incrementa tanto su IDH, como en su puntaje promedio de
PISA y se acerca más al esperable gún su IDH.
3.
Lo
anterior es distinto al comparar las dos primeras aplicaciones (2000 y2018),
con 2022, en que:
a.
Según
las líneas de regresiones, para el año 2022 se cae tanto el IDH, como los
puntajes de PISA, con mayor incidencia en los países en que son más altos, lo
cual hipotéticamente uno pudiera adelantar que es una consecuencia del COVID
19, lo que como ya se apuntó en párrafos anteriores, convendría profundizar en
ello.
b.
En
el caso de México al comparar 2018 con 2022, a pesar del efecto del COVID 19
antes citado, reflejado en la caída de su IDH de 0.767 en 2018 a 0.758 en 2022
y por ende en PISA (de 409 a 395), contrario a lo que se pudiera suponer,
mantiene en -3 la distancia que le separa entre lo esperable según su IDH y lo
realmente logrado.
V. Breve reflexión sobre los
factores explicativos del rendimiento educativo de entorno escolar.
Al
igual que en los apartados anteriores no se incurrirá en profundos análisis de
causalidad, sino que solo se sintetizará y referirá a los hallazgos que
surgieron en el Primer Estudio Internacional Comparativo sobre Lenguaje,
Matemática y Factores Asociados al Rendimiento educativo en Tercer y Cuarto
Grados realizado por el Laboratorio Latinoamericano de Evaluación de la Calidad
de la Educación en 1997[20],
por ser el más antiguo realizado en la región, el primero que a esa fecha
incluye el impacto de factores asociados y el único en su tipo que incluye para
todos los países participantes análisis por distintos estratos (Por gestión de
los planteles, escuelas públicas y escuelas privadas; así como por contextos
demográficos, escuelas ubicadas en megaciudades de un millón o + habitantes,
urbanas entre 2,500 y 999,999 habitantes y rurales menos de 2,500 habitantes).
También
en este caso, solo haremos referencia a la disciplina de Matemática a los
efectos de no sobrecargar el análisis con demasiados datos.
Conviene
mencionar que en la realización de este estudio participaron Argentina, Brasil,
Bolivia, Chile, Colombia, Costa Rica, Cuba, Honduras, México, Paraguay, Perú,
República Dominicana y Venezuela, países que contaban a la fecha del estudio
con 19,490,590 alumnos de tercero y cuarto grados de educación primaria; que la
muestra representativa de esa población fue de 54,417 alumnos que presentaron
el examen de matemáticas (variable dependiente), a quienes paralelamente se les
aplicaron 48,688 encuestas de alumnos, 41,088 encuestas a padres de familia de
los alumnos examinados, 3,675 encuestas para los docentes de esos mismos
alumnos, 1,387 encuestas a los
directores de las escuelas donde se aplicó las pruebas y 1,509 fichas de los
mismos establecimientos (variables independientes); que como se mencionó en el
apartado de antecedentes, la escala de los puntajes de los resultados de las
pruebas está dada en función de una media de 250 puntos y una desviación
estándar de 50 puntos.
A partir de lo anterior, en la siguiente figura se resume el impacto de distintos factores escolares que se recolectaron en las encuestas aplicadas, en los puntajes promedio de matemáticas, pero solo para una muestra de alumnos que comparte el mismo origen socio-educativo, como una forma de evitar las distorsiones o influencia que se derivan de dichas diferencias socio-educativas.
Figura
11. Impacto de los factores asociados al rendimiento educativo para una
población que comparte el mismo origen socio-educativo.
Fuente: Elaboración propia con base en los resultados del Primer Estudio Internacional Comparativo sobre Lenguaje, Matemática y Factores Asociados al Rendimiento educativo en Tercer y Cuarto Grados del LLECE (1997).
A. Factores asociados al rendimiento que operan negativamente.
En
la figura 12 se presenta la diferencia de puntajes en matemática cuando el
factor en estudio está ausente contra cuando está presente, en el entendido de
que solo se incluyen los factores cuyas diferencias según el estudio de
referencia, no se deben al azar, sino que son lo que se conoce en al ámbito
estadístico como “Estadísticamente significativas”. Así entonces, se pueden
observar dos grupos de factores, los que tienen diferencias POSITIVAS en los
puntajes promedio que obtienen los alumnos en matemática (indicadas del 7 al
16, en letra normal, en color negro y sin signo); y, los que tienen diferencias
NEGATIVAS en los puntajes promedio que obtienen los alumnos en matemática (del
1 al 6, indicadas en letra cursiva, en color rojo y con signo negativo).
Como
factores negativos, es de hacer notar que cuando los docentes atribuyen el
éxito o fracaso de sus alumnos al apoyo familiar (Factor 1) y no como resultado
de su actividad como profesores, es donde se presenta el que mayor efecto
negativo en los puntajes de sus alumnos según esta investigación; dicho de otra
forma, los alumnos cuyos profesores dan mayor importancia en el éxito o fracaso
de sus alumnos al apoyo de las familias por encima de su propio quehacer
docente, obtienen en promedio – 22.3 puntos menos que los alumnos cuyos
docentes consideran que su labor está por encima del apoyo familiar. También en
relación con este factor es relevante que tiene un impacto negativo de casi
media desviación estándar.
Acompañando
al factor antes citado en términos de impacto negativo, están los siguientes
factores:
Factor
2. Con - 11.6 puntos, refiere a cuando los alumnos se les agrupa en las
escuelas en función de sus habilidades (los buenos con los buenos, los no tan
buenos, con los no tan buenos);
Factor
3. En el que se observa un puntaje de - 9.7 para los alumnos de docentes que se
ven obligados o realizan otro tipo de actividad profesional a la par de la
docencia a diferencia de los que solo tienen como actividad profesional la
docencia;
Factor
4. En este caso la diferencia es de – 5.8 puntos en el caso de los alumnos
cuyos docentes siente que su jornada laboral es extenuante por debajo de los
docentes que no lo consideran así.
Factor
5. Esta investigación arrojó que los alumnos cuyos padres ayudan a sus hijos en
las tareas escolares, estos últimos obtienen – 2.7 en comparación con los
alumnos cuyos padres no los ayudan, lo cual no deja de ser interesante y quizá
como hipótesis explicativa se puede adelantar que, con independencia de la
preparación de los padres, ellos no necesariamente están capacitados para el
ejercicio del proceso de enseñanza.
Factor
6. Por último, la cantidad de alumnos por grupo es un factor que si bien indica
puntajes de – 0.5 por cada 5 alumnos de más en el grupo, esto no tiene un peso
determinante si se considera el costo-beneficio en que se incurriría al rebajar
la cantidad de alumnos; por otra parte, quizá el poco aporte de este factor
pueda deberse a que en general los docentes no modifican sus prácticas ante
variaciones pequeñas de sus alumnos por grupo.
B.
Factores
asociados al rendimiento que operan positivamente.
Factor
7. En este grupo en primer término, con el aporte más pequeño, + 0.2, se
encuentra el hecho de que haya materiales de instrucción disponibles en la
escuela (material didáctico), lo cual quizá pueda ser derivado por la misma
razón comentada en el Factor 6, de que el hecho de que estén disponibles los
materiales, no necesariamente son garantía de que sean usados por los docentes.
Factor
8. Sigue con + 2.1 una mayor preparación de los docentes, aporte que se
esperaba mayor, pero que quizá pueda deberse a que por un lado la preparación
inicial de los docentes es la misma y por el otro lado, al hecho de que en
ocasiones la preparación no necesariamente guarda relación con la mejora de su
práctica docente, sino que en ocasiones es para postular a otro tipo de
función, para acrecentar sus conocimientos en actividades distintas a su
función o simplemente para acumular puntos de carácter escalafonario. A este
respecto, quien suscribe este ensayo ha propuesto que la formación docente en
servicio responda a tres ámbitos (Palafox. 2013), a. Las áreas de oportunidad
que aporten este tipo de estudios, b. Los intereses específicos de los docentes
que se relacionen con su función, y c. Los contenidos, aspecto o temas que sean
de interés por parte de la autoridad (Reforma educativa, Cambios curriculares
en planes y programas, etc.)
Factor
9. Con + 2.2 está el hecho de que los tutores se involucren a nivel de aula en
las escuelas de sus hijos, o sea que este permanentemente en comunicación e
interacción con lo que sucede al interior del aula y lo que hace su hijo y su
docente en esa dimensión.
Factor
10 y 11. Refieren al mismo aspecto, que los padres leen a sus hijos, la
diferencia radica en la frecuencia, de donde se desprende que a mayor
frecuencia mayor impacto en el rendimiento promedio de los hijos, + 2.9 para la
lectura a veces y + 4.3 cuando es a menudo.
Factor
12. Con + 9.5 puntos más en promedio se encuentran los alumnos cuyos docentes
consideran que su salario es adecuando, con independencia de si lo es o no
desde el punto de vista de otro tipo de interpretaciones.
Factor
13. Los alumnos que acuden a escuelas donde existe una biblioteca escolar con
más de 1,000 libros, sus puntajes son superiores en promedio a las escuelas que
no cuentan con este elemento en + 9.9 punto.
Factor
14. Relacionado con el Factor 9, según esta investigación está el hecho de que
los tutores se involucren, pero solo a nivel de escuela y no tanto a nivel de
aula, ya que cuando están involucrados a nivel de escuela sus hijos tienen
mejor promedio en + 14.9 puntos, en tanto que como ya vimos, si se involucran a
nivel de aula, la diferencia es de solo 2.2.
Factor
15. Cuando los docentes atribuyen el éxito o fracaso de sus alumnos a las
propias habilidades de dichos alumnos, o sea que confían en sus educandos,
entonces el promedio sube en + 21.5 puntos.
Factor
16. Este caso, representa el comportamiento más importante de toda esta
investigación, y por ello, merece relevarse de manera especial, de hecho, es
este factor el que nos inclinó a incluir esta investigación en este texto y no
otras que se han realizado posteriormente en la región y a nivel internacional.
El factor se refiere al Clima de Aula, constructo que no necesariamente tiene
relación con las preconcepciones que el lector de este ensayo argumentativo
pueda tener al respecto, sino que responde unívocamente a las variables que se
incluyeron en la encuesta que se aplicó a los alumnos paralelamente a las
pruebas de esta investigación y solo a ello. Dichas variables fueron las
siguientes preguntas a. ¿En tu salón de clases se hacen buenas amistades?; b.
¿En tu salón de clases se molestan entre los compañeros?; y c. ¿En tu salón de
clases hay peleas constantes?
Lo
que le da el carácter de único a este hallazgo, es el hecho de que la
diferencia entre los alumnos que están en grupos donde se hacen buenas
amistades, no se molestan entre sí y no hay peleas constantes, es de + 115
puntos, lo que equivale a más de dos desviaciones estándar entre ambos tipos de
alumnos, diferencia que podríamos aventurarnos a sugerir que equivaldría a dos
grados educativos de diferencia.
Lastimosamente,
este constructo por diferencias entre el fundador de este estudio y quienes
posteriormente le dirigieron, no primó el esperable interés profesional y
técnico por confirmar o desechar su impacto en los rendimientos educativos en
las subsecuentes aplicaciones con datos duros, sino que a raíz de dichas
diferencias se modificó e incrementó con más variables el constructo, con lo
que se imposibilitó su confirmación.
Con
independencia de lo dicho en el párrafo anterior, para efectos de este texto,
lo importante es poner al centro de este tipo de investigaciones no tan solo
los datos referentes a los rendimientos educativos de los estudiantes, sino que
la verdadera riqueza de dichos estudios, está en las luces que nos pueden dar
con relación a las explicaciones y factores que están asociados a dichos
rendimientos, lo cual debiera ser una fuente irrestricta para la toma de
decisiones en materia de definiciones de políticas públicas en Educación.
VI.
Posicionamiento final.
A. Conclusiones.
1.
En
primer término, es necesario acotar que El Programa Internacional para la
Evaluación de Estudiantes, PISA, no mide o mide solo tangencialmente los
aspectos más significativos de una educación de calidad citados por algunos
autores; dentro de los cuales, a nivel internacional podemos mencionar los 4
pilares de la educación planteados en el Informe a la UNESCO de la Comisión
sobre la Educación para el Siglo XXI “aprender a ser, aprender a conocer,
aprender a hacer y aprender a vivir juntos”[21],
o en el ámbito nacional, lo planteado por Carlos Muñoz Izquierdo (qepd), que
sugería como las dimensiones más importantes de la calidad educativa y sus
criterios de evaluación: “la Dimensión Filosófica-Relevancia, la Dimensión
Pedagógica-Eficacia, la Dimensión Social-Equidad, la Dimensión
Cultural-Pertinencia y la Dimensión Económica-Eficiencia”[22].
2.
Complementariamente,
un aspecto que le resta legitimidad a los resultados de PISA es que el
programa se da en el seno de una organización cuyo objeto de trabajo es la
Cooperación y el Desarrollo Económicos y no la educación como eje central de su
actividad, aunado a que los países que le componen tienen un fuerte sesgo
de alto o muy alto desarrollo económico.
3.
Mas,
sin embargo, no se puede negar que PISA es sin duda el referente de mayor
cobertura en materia de evaluación de los aprendizajes a nivel
internacional.
4.
Más
allá del sesgo antes mencionado y lo multifactorial y multidimensional del
fenómeno educativo, los resultados de PISA son un indicio interesante
sobre los niveles de rendimiento educativo de los estudiantes de 15 años
cumplidos que están dentro de los sistemas educativos en los países
participantes, en relación con las limitadas áreas que observa.
5.
Por
tanto, PISA no debe de ser considerado como el reflejo absoluto de lo que
está sucediendo en el mundo en materia educativa, en virtud de su poca
representatividad (45% aprox. de países) y notorio sesgo por tipo de países
participantes, generalmente de IDH alto o muy alto.
6.
Los
resultados de PISA de ninguna manera reflejan el esfuerzo, ni la eficacia de
los sistemas educativos de los países que participan, a menos de que se
controlen por algunas variables o factores exógenos al esfuerzo escolar, que
también afectan directamente su comportamiento en este tipo de evaluaciones,
tal cual se muestra en este texto con el Índice de Esfuerzo Escolar IEE.
7.
Sin
menoscabo de lo relativo de estos resultados, los mismos sí reflejan el
lugar que los sistemas ocupan en cuanto a rendimiento educativo en términos
de lo que se conoce coloquialmente en el sector como “las carreras de
caballos”, en el sentido de que indican quien obtiene los mayores o los menores
puntajes sin importar sus puntos de partida, ni condiciones en que se da el
hecho educativo.
8.
Estudios
como PISA ponen de manifiesto la necesidad de optar por referirse a sus
resultados como mayores o menores puntajes, pero nunca como los mejores o
peores puntajes.
9.
No
efectuar lo dicho en el párrafo anterior generalmente tiende a
sobredimensionar a los países cuyas poblaciones tienen mejores condiciones de
inicio, en tanto que, por el contrario, se estigmatizan a aquellos cuyas
condiciones de partida son en extremo más difíciles, complicadas o hasta en
algunos casos, verdaderamente negativas para educar a sus pueblos.
10.
La
aseveración citada en el punto anterior es aplicable a todos los niveles de
desagregación que estos resultados pueden generar, así como para las
evaluaciones nacionales que se realicen en cada país.
11.
Considerando
todo lo dicho en las conclusiones que anteceden, así como las evidencias duras
que se han puesto de manifiesto en todo este ensayo argumentativo, México de
ninguna manera puede ser considerado como el país de la OCDE que tiene el
sistema educativo más ineficaz de los que pertenecen a la misma.
12.
Así
mismo, partiendo de la base de que los instrumentos aplicados en 2000, 2018 y
2022 sen más o menos equivalentes, dado que sus instrumentos de evaluación
comparten un mismo rasgo latente a evaluar, la evidencia en este ensayo
demuestra más allá de una duda razonable, que el sistema educativo de México
ha mejoró sus puntajes entre 2000 y 2018, y que entre 2018 y 2022 tuvo un
ligero descenso similar al resto de los países participantes, muy probablemente
debido al COVID 19. a la vez que mantiene un margen reducido por debajo de
lo esperable según su IDH de apenas 3.495 puntos en la escala de PISA
2022.
13.
A
nivel Internacional este tipo de interpretaciones dan cuenta de lo que a
últimas fechas se empieza a reconocer, hay que dar un cambio en el foco de
la atención de las autoridades educativas mexicanas hacia lo que está pasando
en el país, considerando las diferencias de partida o de contexto, y dejar
de seguir fijando la atención exclusivamente hacia países cuyos resultados aun
cuando son más altos o mayores, la verdad es que no son estrictamente
comparables, a menos de que se controlen los resultados de este tipo de
evaluaciones, con algún elemento como el IDH que refleje su realidad
socioeconómica y/o capital escolar de entrada, de otra forma las comparaciones
tienden a ser espurias, perversas o en extremo simplistas.
14.
Cambio
que inicialmente ya se ha comenzado a instrumentar mediante el enfoque de
Evaluaciones Diagnósticas que plantea la nueva Reforma Educativa vigente desde
2019, las cuales estarán a cargo de la Comisión Nacional de Mejora Continua de
la Educación (MEJOREDU), pero de ninguna manera es recomendable no continuar
con estos ejercicios.
15.
Así
mismo, a partir de estas interpretaciones es evidente que pertenecer o no a
la OCDE de ninguna manera es sinónimo de un buen sistema educativo, por lo
que las interpretaciones planas y descontextualizadas que se hace de los
resultados de PISA en los medios masivos de comunicación y en algunos círculos
de supuestos expertos educativos, es equivocada y desconoce el carácter
eminentemente cultural del fenómeno educativo, llegando en ocasiones hasta
interpretaciones de mala fe, maniqueas y amarillistas.
16.
En
los últimos años, México, la región y una buena parte de la comunidad
internacional se han dado a la tarea de desarrollar sistemas de evaluación
educativa, los cuales en opinión del autor de este ensayo, están “al debe”,
ya que en los avances de los niveles de aprendizaje que se reflejan, no existe
evidencia dura alguna que nos indique que han sido el reflejo de dichos
sistemas de evaluación; ni justifican las inversiones millonarias en que se
incurre; como tampoco han aportado información que derive en la toma de
decisiones de alto impacto, ya que más bien se concretaron a mostrar resultados
llanos, descontextualizados y sin considerar el impacto de los factores que les
explican; por lo que se hace necesario innovar en su concepción, orientación,
análisis, interpretación y uso.
17.
Con
independencia de todo lo anterior, es recomendable –como ya se comentó–,
realizar un análisis longitudinal de los resultados de PISA de todas sus
aplicaciones y disciplinas a los efectos de validar los hallazgos aquí
descritos y obrar en consecuencia.
18.
Complementariamente
conviene llamar la atención al poco avance y ultima caída en el Índice de
Desarrollo Humano que ha observado México en el periodo, mismo que más allá
del análisis de los resultados de PISA, pone de manifiesto otro problema en
materia educativa que es con mucho el más relevante que afronta el país, el
rezago educativo, considerado como la cantidad de población de 15 años de edad
o más que no ha terminado su educación básica, mismo que se calcula en más de
30 millones de personas; problema al cual se dedica un mínimo de recursos, Esta
situación en el actual contexto del COVID – 19 tiende a agudizarse como lo
muestran algunos datos de la encuesta telefónica por el INEGI recientemente
(INEGI 2021), en la cual se estima que del 2.2% (738.4 mil personas) de la
población inscrita el ciclo escolar 2019-2020 que no concluyó, más de la mitad
(58.9%) señaló que fue por un motivo relacionado a la COVID-19, a lo que habrá
que sumar la cifra que se detecte en los siguientes ciclos escolares.
19.
Más
allá de los análisis descontextualizados de estas investigaciones y del énfasis
que se le da a los resultados brutos de las mismas, como ya se apunto antes es
necesario reiterar que se debe continuar participando en estos ejercicios, ya
que los mismos nos alejan de las visiones endogámicas que tanto daño hicieron a
nuestro desarrollo educativo en años pasados, facilitándonos la comparación
con los otros, que aun cuando somos distintos, si permiten ubicarnos en un
contexto más amplio y reconocer si avanzamos o retrocedemos en un mundo
eminentemente competitivo y globalizado, donde todos los países buscan mejorar
sus niveles de rendimiento educativo.
B. Reflexiones adicionales.
Visto
lo anterior, nadie en su sano juicio puede negar que PISA se ha transformado en
un referente sobre la calidad de la educación a nivel internacional. Programa
que en su momento fue considerado como la gran innovación en materia de
evaluación y diagnóstico de los niveles de aprendizaje en los países
participantes; pero de igual forma como todas las innovaciones, aun cuando en
principio puedan parecer tremendos avances o hallazgos que vienen a ayudar a
resolver “x” o “y” problema, en ocasiones si no se les considera en su exacta
dimensión y pondera desde una visión de futuro y holísticamente, pueden llegar
a ser verdaderos impedimentos para la solución de lo que pretenden resolver, o
acarrean otro tipo de consecuencias que pueden llegar a ser en extremo
nefastas.
En
este último sentido, baste recordar en un ámbito exógeno a la educación, el de
la petroquímica, aquella gran innovación llamada PET -tereftalato de
polietileno-, que fue patentada como un polímero para fibra por J. R. Whinfield
y J. T. Dickson en 1941, la cual prometía reducir de manera significativa los
costos de empaque, traslado, distribución, manejo, almacenamiento, exhibición,
composición, etc., de miles de productos que a la sazón se elaboraban en
vidrio, madera, metal, cartón u otros materiales reciclables o biodegradables;
innovación que con el paso del tiempo, se han constituido como el principal
contaminante de los mares[23],
como ejemplo de ello, podemos mencionar una de las 5 islas “plásticas” que
existen en nuestros mares, la conocida internacionalmente como: Great Pacific
Garbage Patch[24],
que cubre una superficie de alrededor de 1,800,000 kilómetros cuadrados,
superficie cercana a la de todo México incluyendo playas, montañas,
poblaciones, ríos, valles, etc. o equivalente a toda la superficie de Alemania,
Francia, Reino Unido, Italia, Países Bajos y Suiza.
Así
mismo, más relacionado con el tema educativo, existen claros ejemplos de
políticas o estrategias que en su momento se consideraron como “INNOVADORAS”,
que no tan solo no ayudaron a resolver problemas educativos, sino que sus
resultados se han transformado en perversos, en tanto que generaron daños
trascendentes a la educación. Dentro de ellas, está la política conocida como
el Servicio Profesional Docente (SPD), que en teoría pretendía coadyubar a la
mejora educativa, pero que en los hechos al dar a los docentes mejor evaluados
la posibilidad de seleccionar las plazas y centros educativos que desearan,
logró que dichos docentes mejor calificados, seleccionaran las escuelas donde
menos falta hacían, dejando las opciones donde estaba la población más carenciada
y necesitada de buenos maestros, para los docentes menos calificados, con lo
que lo único que se logró fue acrecentar las brechas entre las poblaciones más
favorecidas y las más necesitadas, amén de que no se logró instaurar plenamente[25].
Otro
ejemplo en materia educativa, fue lo que en su momento se consideró una gran
innovación en cuanto a planeación y programación educativa, que consistió en
dotar en automático -como un derecho- plazas docentes a todos los egresados de
los centros de formación docente (Normales), para con ello paliar la escasez de
docentes que impedía terminar con el rezago educativo de mediados del siglo
pasado, que si bien logró dotar de maestros a las escuelas, también trajo como
consecuencia que centenas, que si no miles de personas, sin tener ninguna
vocación por la docencia, decidiera estudiar para maestros, ya que con ello
resolvía su situación económica de por vida o les permitía tener una base
estable para proyectarse al futuro en otras actividades, o en el peor de los
casos si fracasaban en esto último, podrían volver a su plaza docente, todo lo
cual en alguna medida se transformó en un obstáculo para una buena
educación.
Es
por todo lo anterior y por el nuevo escenario que se nos plantea en el futuro
inmediato a partir de la pandemia de COVID-19, que adquiere una enorme
relevancia el postulado que ha formulado las Naciones Unidas en el informe que
presentó el Secretario General en julio de 2020:
“La recuperación posterior a la
pandemia debería ser una oportunidad para transformar el modelo de desarrollo
de América Latina y el Caribe y, al mismo tiempo, fortalecer la democracia,
salvaguardar los derechos humanos y mantener la paz, en consonancia con la
Agenda 2030 para el Desarrollo Sostenible[26].
Lo
que se sintetiza en una propuesta concreta y poderosa:
“En América Latina y el Caribe,
reconstruir mejor implica reconstruir con igualdad”[27].
“Señalar que la pandemia ha puesto al
descubierto problemas estructurales significa constatar que el análisis de sus
consecuencias e implicancias no puede limitarse a los efectos coyunturales.
Estos son variados y, en algunas dimensiones, graves. Sin embargo, en esta
coyuntura crítica no se pueden registrar solo efectos e impactos de corto
plazo, y es necesario escapar a la tentación de considerar la pandemia como un
accidente o un paréntesis y no como la expresión de una situación límite que
demanda un viraje, un punto de inflexión ante lo que cada vez se considera más
como una encrucijada que enfrenta nuestra civilización. Es fundamental
visualizar y tener presente, el corto plazo, el largo plazo.”[28]
En
definitiva, este ensayo argumentativo de ninguna forma pretende erigirse como
el “modelo”, ni mucho menos la síntesis de los propios hallazgos de la OCDE o
de otros prestigiados investigadores, sino que busca aportar una visión
distinta a la interpretación de los resultados de ejercicios como PISA y/o
LLECE; rescatar información que dé cuenta de evidencias claras y contundentes
de que el sistema educativo mexicano ha avanzado aun cuando el COVID 19 impacto
en ello y que sigue por debajo de lo que sería esperable de él en función de la
mezcla social del país; que todo lo cual de ninguna manera quiere decir que se
deban “echar las campanas al vuelo”, sino que hay que redoblar el paso,
continuar con los esfuerzos de reforma que devuelvan al sistema transparencia,
racionalidad e incorporen en sus decisiones la innovación pensada e inteligente
basada en evidencias duras, locales y no únicamente en ecuaciones políticas.
México
como heredero de culturas milenarias merece un lugar acorde a ellas, lo cual no
se logrará tan sólo con buenos deseos, “patrioterismos” desgastados o con
políticas parciales u ocurrentes, se hacen necesarios esfuerzos sostenidos,
inteligentes y debidamente soportados en la evidencia científica.
Por
otra parte, es innegable que ejercicios como PISA, son valiosos, pero si y sólo
si, trascienden hasta el espacio privilegiado donde se da el hecho educativo:
el aula y la escuela[29].
Mientras esto no suceda, no dejarán de ser meros esfuerzos académicos dirigidos
tan sólo a expertos, investigadores y periodistas que hagan uso de los mismos
para su mejor conocimiento o para denostar esfuerzos y logros. México merece al
menos una educación que sea acorde a su nivel de desarrollo humano. Ese puede
ser el compromiso inicial, lo demás aun cuando pueda conllevar la mejor buena
voluntad, no pasará de ser mera retórica –en su sentido más pobre–, condenando
a las nuevas generaciones a no lograr el sentido primigenio de la palabra
civilización, el cual supone por sí mismo que cada generación supere
tecnológica, científica y educativamente a la anterior. Queda pues el reto para
la evaluación educativa de transformarse en un verdadero motor de cambio en
educación.
Finalmente
deseo concluir este ensayo argumentativo con una frase de Federico Mayor
Zaragoza, quien fuera por 12 años Director General de la Organización de las
Naciones Unidas para la Educación, la Ciencia y la Cultura, la UNESCO, “en
educación MAÑANA SIEMPRE ES TARDE”.
Referencias
Diario
Oficial de la Federación, DOF: 15/05/2019. “DECRETO por el que se reforman,
adicionan y derogan diversas disposiciones de los artículos 3o., 31 y 73 de la
Constitución Política de los Estados Unidos Mexicanos, en materia educativa.”
Recuperado de: https://www.dof.gob.mx/nota_detalle.php?codigo=5560457&fecha=15/05/2019
Edwards, V.
(1991). “El concepto de calidad de la educación.” Santiago: Oficina Regional de
Educación de la UNESCO para América Latina y el Caribe.
Frade Rubio,
Laura. (2023). “El poder transformador de la prueba PISA”. México. Alidad
Educativa Consultores. Volumen 13:
2023, 65/ 08/12/23.
Instituto
Nacional para la Evaluación de la Educación (INEE). (2006). “Los cuatro
primeros años. Avances y desafíos”. México. Recuperado de: https://historico.mejoredu.gob.mx/wp-content/uploads/2019/01/P1D208.pdf
Instituto
Nacional de Estadística y Geografía, INEGI. “RESULTADOS DE LA ENCUESTA PARA LA
MEDICIÓN DEL IMPACTO COVID-19 EN LA EDUCACIÓN (ECOVID-ED) 2020. DATOS
NACIONALES”. México. Recuperado de: https://historico.mejoredu.gob.mx/wp-content/uploads/2019/01/P1D208.pdf
Langhorne
Clemens, Samuel (Marck Twain -seudónimo-). Recuperado de: https://www.pinterest.es/pin/337629303288178594/
Oppenheimer,
A. (2011). “¡Basta de historias! La obsesión latinoamericana con el pasado y
las 12 claves del futuro”. México: Debate.
Organización
de las Naciones Unidas para la Educación, la Ciencia, y la Cultura (UNESCO).
(1998). “Primer Estudio Internacional Comparativo. Sobre Lenguaje, Matemática y
Factores asociados, para alumnos del Tercer y Cuarto grado de la educación
básica”. Santiago, Chile: Laboratorio Latinoamericano de Evaluación de la
Calidad de la Educación.
Organización
de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO).
(2015). “Informe de Seguimiento de la EPT en el Mundo 2015. La educación para
todos, 2000-2015: logros y desafíos (Resumen)”. París: Autor. Recuperado de http://unesdoc.unesco.org/images/0023/002325/232565s.pdf
Organización
para la Cooperación y el Desarrollo Económicos (OCDE). (2001). “Conocimientos y
aptitudes para la vida. “PRIMEROS RESULTADOS DEL PROGRAMA INTERNACIONAL DE
EVALUACIÓN DE ESTUDIANTES (PISA) 2000).” París.
Recuperado de: https://www.oecd.org/pisa/39817007.pdf
Organización
para la Cooperación y el Desarrollo Económicos (OCDE). (2007) “El programa PISA
de la OCDE. Qué es y para qué sirve”. Recuperado de: https://www.oecd.org/pisa/39730818.pdf
Organización
para la Cooperación y el Desarrollo Económicos (OCDE). (2019a). PISA 2018
“Results (Volume I). What Students Know and Can Do”. Recuperado de: https://www.oecd-ilibrary.org/docserver/5f07c754-en.pdf?expires=1633362603&id=id&accname=guest&checksum=D781552BA8F757F0B248A5E5A8AEF2EB
Organización
para la Cooperación y el Desarrollo Económicos (OCDE). (2022). PISA 2022
“Results The State of Learning and Equity in Education” Publication. Volume I.
Recuperado de: https://www.oecd-ilibrary.org/docserver/53f23881-en.pdf?expires=1701799082&id=id&accname=guest&checksum=55D31C6274F717E9BAA40CC3F0E2D13B#page=312&zoom=100,53,86
Palafox,
J.C., Prawda, J. y Velez, E. (1992). “Primary School Quality in Mexico”. Banco
Mundial en “A view from LATHR; no. 33. Recuperado de: https://documents.worldbank.org/pt/publication/documents-reports/documentdetail/966871468914111890/primary-school-quality-in-mexico
y Universidad de Chicago Press en
Comparative Education Review. Volume 38, Number 2. May, 1994 (Págs. 167-180).
Recuperado de:
https://www.journals.uchicago.edu/doi/abs/10.1086/447240?journalCode=cer&
Palafox, J.C.
(2011). “El futuro de la educación mexicana, apoyado en su pasado y visto desde
su presente”. Compiladores E. Agüera y E. Zebadúa. Ensayo publicado en el
libro: “La Disputa por la educación. Por el México que queremos” (Pags.
293-333). México: Aguilar.
Palafox, J.C.
(2013). "Una Ecuación No Resuelta: Evaluación Educativa Más Capacitación
Docente Igual Mejor Calidad Educativa". En J. Díaz de la Torre (Comp.)
Ensayo publicado en el libro: "Realidades y Prospectiva Educativa. TOMO
II", pp 149-188. Editorial del Magisterio del SNTE.
Palafox, J.C.
(2015). “Mitos y realidades de la no selección en educación. Un debate chileno,
visto desde una experiencia mexicana”. Ensayo publicado en la Revista Análisis
Público, (5). Recuperado de http://issuu.com/analisispublico/docs/an__lisis_p__blico_n__5-2015_8029eb958cdb7f?e=0/14166023#search
y en la Revista de Educación y Cultura
AZ. (1ª. Parte) Número 91. (Pags. 36 a 41). marzo 2015 http://www.educacionyculturaaz.com/091/091-AZMARZO2015.pdf
. (2ª. Parte) Número 92. pp 36 a 41. abril 2015 http://www.educacionyculturaaz.com/092/092-AZABRIL2015.pdf
Palafox, J.C.
(2015). “PISA. “Análisis comparado 2000 a 2015. Indicios esperanzadores”.
Ensayo publicado en el libro: "Políticas Educativas en América Latina:
Notas para la educación en el siglo XXI" http://cresur.edu.mx/2019_/libros2019/6.pdf
Primera edición, 2018, (Pags. 140 a
186). arbitrada por la Universidad Intercultural de Chiapas; así como, en la
Revista Voces de la Educación Vol.3 Núm. 5 Enero–Junio 2018, Pags. 136-169. http://www.vocesdelaeducacion.com.mx/wp-content/uploads/2018/03/Revista-Vol.3-Num.5.pdf
Programa de
las Naciones Unidas para el Desarrollo (PNUD). (2002). “Human Development
Report 2002. Deepening democracy in a fragmented world”. New York, Oxford:
Oxford University Press. Recuperado de http://hdr.undp.org/sites/default/files/reports/263/hdr_2002_en_complete.pdf
Programa de
las Naciones Unidas para el Desarrollo (PNUD). (2018). “Informes de Desarrollo
Humano. Recuperado de http://hdr.undp.org/en/global-reports
Programa de
las Naciones Unidas para el Desarrollo (PNUD). (2018). “Informe Sobre
Desarrollo Humano 2021/2022”. Recuperado de: https://hdr.undp.org/system/files/documents/global-report-document/hdr2021-22sp1pdf.pdf
Real Academia
Española. (2018). “Diccionario de la lengua española.” Recuperado de http://dle.rae.es/?id=OnhZjCP
[1] Este ensayo argumentativo, actualiza y complementa otros anteriores
del mismo autor donde se compararon 2000 vs 2012, 2000 vs 2015 y 2000 vs 2018
por ceparado, pero ahora a partir de los nuevos resultados que aportó el
ejercicio de PISA en 2022.
[2] El autor de este ensayo ha sido consultor internacional en temas de
planificación, sistemas de información y evaluación educativa en organismos
multilaterales como la UNESCO, el Banco Mundial, la OEI y el Preal; así como de
los Ministerios de Educación de Argentina, Bolivia, Chile, Ecuador, El
Salvador, México y Uruguay; como también funcionario público en el sector
educativo de México. Así mismo, asume la responsabilidad total por lo aquí
expresado y manifiesta que no necesariamente refleja el punto de vista de
organismo, gobierno, institución o dependencia alguna.
[3] Program for International Student Assessment, PISA por sus siglas
en inglés.
[4] Organization for Economic Co-operation and Development, OECD por
sus siglas en inglés u OCDE en español.
[5] México pertenece a la OCDE desde el 18 de mayo de 1994.
[6] Del inglés “Trends in International Mathematics and Science Study”,
desarrollado por la Asociación Internacional para la Evaluación del Rendimiento
Educativo (IEA por sus siglas en inglés).
[7] Desarrollado en el Laboratorio Latinoamericano de Evaluación de la
Calidad de la Educación (LLECE), que coordina la Oficina Regional de Educación
para América Latina y El Caribe de la Organización de las Naciones Unidas para
la Educación, la Ciencia y la Cultura (UNESCO).
[8] No obstante, se hicieron algunas publicaciones que sin presentar
los resultados generales comparados, si presentaron explicaciones más
específicas sobre los resultados de México y los problemas que a juicio del
país se dieron en 1995 y 2000, ejemplo de ello son dos textos publicados por el
Instituto Nacional para la Evaluación de la Educación INEE: “Resultados de
México 1995 y 2000. Informe Técnico” elaborado por Eduardo Backhoff Escudero y
Guillermo Solano Flores, así como “Metodología para evaluar la calidad de las
traducciones en pruebas internacionales. El caso mexicano 1995” elaborado por
Guillermo Solano Flores, Eduardo Backhoff Escudero y Luis Ángel Contreras Niño.
[9] Este ejercicio de homologación e
interpolación de escalas de TIMSS 1996 y LLECE 1997, fue elaborado por el autor
de este ensayo en el marco de su trabajo como consultor de la Oficina Regional
para América Latina y el Caribe de la UNESCO en 1998 y fue mencionado por
Casassus, Juan, en “La Escuela y la (des)igualdad”. LOM Ediciones, primera
edición 2003. Concha y Toro 23, Santiago de Chile; segunda edición, Ediciones
Castillo, México 2005.
Información que también fue presentada por primera vez
en el marco del “4o. Encuentro de Directivos de Educación Básica de Tlaxcala.
Por una educación de Calidad con Equidad”
Ixtapa Zihuatanejo, Guerrero. Agosto de 2008. Págs. 71 a 122. Recuperado de:
http://www.encuentrodirectivos.org.mx/4to_encuentro/PDFS/doctos_basicos.pdf
[10] Desarrollado por el Programa de las
Naciones Unidas para el Desarrollo, PNUD.
[11] Esto deriva de la teoría implícita en la
construcción de las escalas de estos estudios (Teoría de la Respuesta al Item
TRI y/o Modelo de Rasch) que no consideran el CERO absoluto, sino que dichas
escalas giran en torno a las medidas de tendencia central (Media o promedio,
Mediana o Moda) y la distancia que cada unidad de medida guarda con dichas
medidas.
[12] La aplicación de 2021 se postergó para 2022
a consecuencia del COVID-19, ya que el proceso de levantamiento se debe de
hacer con los estudiantes en sus planteles escolares.
[13] Incluyendo algunas áreas económicas que no
son países en sí, tales como: Hong Kong, Macao, P S J G China y Ciudad Autónoma
de Buenos Aires (CABA) Argentina.
[14] Cómo ya se mencionó en la nota de pie de página anterior, en el
caso de Argentina, sólo está representada la provincia de Buenos Aires.
[15] Lo cual desde principios de la década de
los noventa del siglo pasado fue detectado en México mediante un estudio de
base censal referido en: “Primary School Quality in Mexico”, coautoría de: J.
C. Palafox, J. Prawda y E. Vélez (1992), estudio que además, evidenció que el
principal predictor de dicho capital es la educación promedio de sus padres.
[16] El término más difundido en el medio es “Capital Cultural”, término
no necesariamente afortunado en virtud de que todo ser humano al pertenecer a
cualquier cultura, por ese sólo hecho tiene un capital cultural, por lo que en
este texto se usa “Capital Educativo” para el cual el indicador más consistente
es el promedio de años de escolarización de los padres de los sustentantes.
[17] Para el cálculo de los
residuos el autor utilizó el Software SPSS 2016.
[18] Para el cálculo de los
residuos el autor utilizó el Software SPSS 2016.
[19] Para el
cálculo de los residuos el autor utilizó el Software SPSS 2016.
[20] Este estudio fue promovido y coordinado por la Oficina Regional de
Educación para América Latina y El Caribe (OREALC), de la UNESCO. El cual convocó a todos los países de la región a
participar y que en su informe final se incluyen a 13 de los 19 que conforman
la región. Se toma como referencia en ete apartado en virtud de ser el primero
que estudión cuantitativamente el efecto de los factores asociados al
rendimiento eucativo y por consistencia con el capítulo de antecedentes de este
mismo ensayo donde es base de sus análisis.
[21] Comisión presidida por Jaques Delors
(Francia) e integrada por In’am Al Mufti (Jordania), Isao Amagi (Japón),
Roberto Carneiro (Portugal), Fay Chung (Zimbabwe), Bronislaw Geremek (Polonia),
William Gorham (Estadounidense y japones), Aleksandra Kornhauser (Eslovaquia),
Michael Manley (Jamaica), Marisela Padrón Quero (Venezuela), Marie-Angélique
Savané (Senegal), Karan Singh (India), Rodolfo Stavenhagen (México), Myong Won
Suhr (República de Corea) y Zhou Nanzhao (China)
[22] Propuesta presentada por el Dr. Carlos
Muñoz Izquierdo en una reunión de trabajo celebrada en la Oficina Regional de
Educación para América Latina y El Caribe de la UNESCO, en la cual participé,
en el marco de los trabajos para la elaboración de indicadores sociales
relacionados con la educación, también citada parcialmente en
https://historico.mejoredu.gob.mx/definiciones-de-calidad-de-la-educacion-en-el-instituto-nacional-para-la-evaluacion-de-la-educacion/
[23] Las llamadas Islas de plástico:
Great Pacific Garbage Patch (isla de
plástico del pacífico) ...
Indian Ocean Garbage Patch (isla de plástico
del océano índico) ...
North Atlantic Garbage Patch (isla del
océano atlántico) ...
South Pacific Garbage Patch (Isla del
pacífico sur) ...
South Atlantic Garbage Patch (isla del
atlántico sur).
[24] Sostenibilidad. ISLAS DE PLÁSTICO. UN
PROBLEMA GLOBAL.10 febrero 2021. Recuperado de:
https://www.thegravitywave.com/islas-de-plastico/
[25] Lo anterior fue reconocido públicamente por
quien fuera Subsecretario de Planeación Educativa, y posteriormente Secretario
de Educación Pública, Otto Granados, quien comentó que a diciembre de 2017 solo
el 30% de la vacancia cumplía con las normas y procedimientos exigidos, hecho
del cual fui testigo en una conferencia que diera en el auditorio del extinto
INEE y que también fue denunciado por el Instituto Mexicano para la
Competitividad A.C. (Clark, 2019).
[26] Naciones Unidas, “Informe: el impacto del
COVID-19 en América Latina y el Caribe”, 2020 [en línea]
https://reliefweb.int/sites/reliefweb.int/files/resources/Informe%20-%20El%20impacto
%20del
%20COVID-19%20en%20América%20Latina%20y%20el%20Caribe%20%28Julio%202020%29.pdf.
[27] Ibídem.
[28] “Plan de Desarrollo Integral para El
Salvador, Guatemala, Honduras y el sur-sureste de México. Síntesis”. Recuperado
de:
https://repositorio.cepal.org/bitstream/handle/11362/47248/1/S2100199_es.pdf
[29] Idea ya planteada por el autor de este
ensayo en el libro “Los cuatro primeros años. Avances y desafíos”Instituto
Nacional para la Evaluación de la Educación [INEE], 2006). Donde expresó: “En
cuatro años de vida del Instituto se han alcanzado metas que con anterioridad
ni siquiera se planteaban como factibles, hoy día son realidades que vislumbran
nuevos retos y que obligan a pensar en el logro ulterior de la evaluación como
motor de cambio en educación. Se ha alcanzado mucho y es necesario seguir
caminando hasta lograr que el conocimiento, la cultura y la transformación
lleguen al interior de esas “cuatro paredes” donde se da el hecho educativo, al
aula, al grupo, al docente, a las y los niños y jóvenes; si se logra, entonces
se habrá cumplido” (p. 48).
