El estudio PISA, esa evaluación de los muchachos de 15 años que la OCDE hace cada tres años, ha tenido un éxito arrollador: ya participan en ella más de 60 países, el 90% de la humanidad, y sus resultados tienen un amplio eco mediático y político, que también va en aumento. Tanto, que los resultados de 2012 se han dado a conocer en dos veces, en diciembre de 2013 los resultados de lectura, matemáticas y ciencias, y en abril de 2014 los resultados de una prueba distinta, la resolución de problemas. En diciembre, los resultados de los alumnos españoles de 15 años fueron los mismos que en ediciones anteriores, lo que sólo sirvió en España para renovar las quejas de que no mejorábamos. En abril, los resultados han sido peores que en diciembre, lo que ha dado ocasión para un nuevo despliegue de críticas a las escuelas y a los gobiernos. Cada uno ha denunciado a su culpable favorito (LOGSE, TV basura, recortes, autoritarismo, laxitud) y ha propuesto su reforma predilecta. Algunos economistas han vuelto a encontrar en la escuela la causa de la crisis económica y el Ministerio de Educación, Cultura y Deporte (MEC) ha vuelto a destacar: ha prometido que con la nueva ley de Educación, la LOMCE, el memorismo culpable del desastre será por fin desplazado por los métodos activos y creativos que los progresistas llevan ya siglos intentando implantar. Conviene advertir, por lo demás, que esto ocurre exactamente igual que en España en todos los todos los países donde PISA defrauda.
Hay quien piensa que debatir siempre es bueno y se congratula del papel de PISA como revulsivo. Otros mantienen que antes de aplicar remedios conviene cerciorarse de que existe el mal. Para éstos, resulta alarmante que leyendo el informe de la OCDE (2014) se puede llegar a la conclusión de que el problema es más bien una creación de PISA.
En la realización de PISA 2003 se aplicó ya una prueba de resolución de problemas, que se presentaba como una prueba interdisciplinar en que se aplicaban a la vida “real” las competencias medidas en las pruebas de lectura, matemáticas y ciencias. Los resultados respondieron a esta concepción. Las correlaciones de resolución de problemas con las otras pruebas fueron muy altas: 0,80 con ciencias, 0,82 con lectura y 0,89 con matemáticas. Ciertos países puntuaban en resolución de problemas más alto y otros más bajo que en matemáticas, pero eran diferencias menores que las de lectura y ciencias (OECD, 2004). La prueba de problemas (PS, Problem Solving) pasó sin pena ni gloria como una prueba más de la prueba de matemáticas.
En PISA 2012 las diferencias entre la prueba de resolución de problemas y el resto de pruebas PISA son mayores que en 2003. PISA calcula las puntuaciones que se esperarían en la prueba PS a partir de las puntuaciones en las otras pruebas y encuentra que, como puede verse en la Tabla 1, pocos países puntúan por encima y muchos bastante por debajo, entre ellos España. Las correlaciones con las otras pruebas también son algo menores: 0,81 con matemáticas, 0,75 con lectura y 0,78 con ciencias. La OCDE da además un vuelco en la interpretación: la resolución de problemas es la capacidad realmente importante para el éxito en la vida, pero las escuelas se quedan en las materias tradicionales.
Ahora bien, ¿existe realmente este déficit en la resolución de problemas? ¿Cómo es que no se detectó en 2003? El propio informe de la OCDE nos da la respuesta. Parte de la diferencia puede deberse a que la prueba de 2012 se ha administrado mediante ordenadores (es decir, el alumno realiza la prueba en un ordenador). Pero en algunos países, también parte de las pruebas de matemáticas y lectura se han aplicado con ordenador. Las puntuaciones esperadas en resolución de problemas a partir de las puntuaciones obtenidas en la prueba de matemáticas realizada con ordenador difieren mucho menos de las reales que las predichas desde las pruebas en papel, como puede verse en la Tabla 1.
Tabla 1. Resolución de problemas: diferencias entre puntuación real y esperada a partir de las otras pruebas, realizadas en papel o con ordenador (en azul diferencias significativas)
En España, el efecto del ordenador es de 15 puntos, dejando una diferencia de seis puntos que no es estadísticamente significativa (INEE, 2014, p.107). La inferioridad de los alumnos españoles no está en la resolución de problemas, sino en el instrumento con que se hace la prueba. Más detalladamente, en 2003 los alumnos españoles de 15 años obtuvieron 485 puntos en PISA matemáticas sobre papel, y 482 en resolución de problemas sobre papel; en 2012 los alumnos españoles de 15 años obtuvieron 484 puntos en matemáticas sobre papel, 475 puntos en matemáticas con ordenador y 477 puntos en resolución de problemas con ordenador.
La explicación es sencilla y parsimoniosa. Si es que hay un problema, es el del manejo de los ordenadores. Y sin embargo la OCDE desprecia esta explicación y continúa su informe especulando sobre la resolución de problemas. Recuerda a ciertos periodistas que no dejan que la realidad les estropee un buen reportaje, o a ciertos científicos que no permiten a los hechos inutilizarles sus teorías. ¿Por qué habría la OCDE de comportarse de este modo? Según los psicólogos especializados en resolución de problemas, fallos como estos suelen proceder de causas no cognitivas.
Julio Carabaña es Catedrático de Sociología de la Universidad Complutense de Madrid.
Referencias
- INEE, PISA 2012. Resolución de problemas en la vida real. Informe preliminar, Ministerio de Educación, Cultura y Deporte, Madrid.
- OECD (2004), Problem Solving for Tomorrow’s World. First Measures of Cross-Curricular Competencies from PISA 2003, OECD, Paris
- OECD (2014), PISA 2012 Results: Creative Problem Solving: Students’ Skills in Tackling Real-Life Problems (Volume V), PISA, OECD Publishing.