Evaluar antes de escalar: las tutorías de refuerzo

En un texto titulado El economista como fontanero [The Economist as a Plumber] publicado en 2017 en el American Economic Review, la reciente ganadora del Premio Nobel de Economía, la profesora de MIT Esther Duflo, decía: "Muchos de nosotros elegimos economía porque, al fin y al cabo, pensamos que la ciencia debía servir para lograr cambios positivos en el mundo. Hay muchos caminos distintos para llegar hasta ahí. Los científicos diseñan marcos generales. Los ingenieros los transforman en maquinaria relevante y los fontaneros finalmente la hacen funcionar en el complicado y desordenado entorno político".

Pues bien, como fontaneros-economistas nos embarcamos durante la primavera de 2021 y en colaboración con la Fundación Empieza Por Educar, en la puesta en marcha de un programa experimental pionero en el ámbito educativo en España. Menttores es un programa piloto de ocho semanas, de tutorías individualizadas de refuerzo educativo online centrado en matemáticas, para niños de 1º y 2º de la ESO, con casi 400 alumnos provenientes de entornos vulnerables, en 18 centros educativos (públicos y concertados) de Madrid y Cataluña.

La idea era evaluar, con el máximo rigor científico (a través de un ensayo aleatorizado controlado -RCT, por sus siglas en inglés-) un programa educativo que nos gustaría ver implementado a nivel nacional. Este tipo de metodología, muy poco común en España, se utiliza de forma habitual en muchos países para evaluar intervenciones educativas y políticas públicas de otro tipo antes de escalarlas.

Como en los ensayos clínicos de las vacunas, esta metodología consiste en establecer dos grupos estadísticamente equivalentes elegidos de forma aleatoria: un grupo de tratamiento (que recibe la intervención) y otro de control (que no la recibe). De esta manera, a través de la comparación con el contrafactual se puede identificar el impacto causal específico de cualquier intervención.

¿Por qué un programa de tutorías? La pandemia, los cierres escolares y la crisis económica han tenido un impacto devastador en el aprendizaje y en el desarrollo emocional de los alumnos en todo el mundo. Así lo muestran los estudios con datos recogidos en tiempo real en Bélgica, Países Bajos, Alemania, Suiza, Australia y Estados Unidos. En un estudio realizado en Bélgica, por ejemplo, encuentran que, aunque las aulas estuvieron cerradas solo tres meses (un tercio del curso escolar), la pérdida de aprendizaje en matemáticas fue equivalente a más de la mitad de lo que se aprende en un curso escolar completo.

Se trata de una crisis silenciosa, mucho menos visible que la sanitaria o económica, pero con efectos profundos y duraderos: se estima que el coste económico de la pérdida de aprendizaje podría rondar el 1,5% anual del PIB.

Esa pérdida de aprendizaje se ha concentrado de forma mucho más intensa en alumnos de entornos vulnerables. Mientras que las familias de clase media y alta pudieron responder a la situación de confinamiento dedicando más recursos, apoyo y tiempo a sus hijos, muchas familias con pocos recursos disponían de menor capacidad para dedicar tiempo a sus hijos. Un estudio con 350.000 alumnos realizado en Países Bajos mostró que los alumnos de familias de nivel educativo bajo experimentaron una pérdida de aprendizaje un 40% mayor que el alumno promedio.

Abundante evidencia muestra que los programas de tutorías individualizadas de refuerzo educativo son, junto con la inversión 0-3 años, la inversión educativa más rentable. Nuestro objetivo, dadas las circunstancias de la pandemia, era evaluar la efectividad de un programa de este tipo en España 100% online.

Los resultados del estudio superaron completamente nuestras expectativas. En lo académico, en comparación con el grupo de control, el alumnado que formó parte de Menttores aprobó un 30% más la asignatura de matemáticas y mejoró en la prueba específica diseñada por el equipo pedagógico de Empieza por Educar en un 17%. También Menttores logró reducir de forma más que notable la repetición escolar, un problema especialmente grave en España: la probabilidad de repetir curso en el grupo que recibió las tutorías fue un 75% más baja que en el grupo de control.

El programa también tuvo un impacto muy positivo en el ámbito socioemocional y las aspiraciones de los alumnos. El alumnado que formó parte de Menttores se muestra más proclive a querer seguir estudiando el bachillerato y se muestra más satisfecho con la escuela.

Menttores demuestra que las tutorías online en grupos pequeños obtienen muy buenos resultados en España, similares a los que se obtienen en las tutorías presenciales evaluadas de forma rigurosa en otros países. Esto abre la posibilidad de diseñar programas más asequibles e inclusivos territorialmente para llegar a los que más lo necesitan, incluidas zonas rurales donde ahora no llegan programas de este tipo.

Varios países de nuestro entorno han anunciado inversiones millonarias jamás vistas en el ámbito del refuerzo escolar y extraescolar para recuperar la pérdida de aprendizaje. Quizás el ejemplo más ambicioso es el de Holanda, que ha presupuestado 8.500 millones de euros para tres años (unos 1.000 euros por alumno al año).

España ya partía de una situación preocupante en lo que se refiere al logro educativo, el abandono escolar temprano y a las brechas educativas. Sin embargo, hasta el momento, desgraciadamente, las inversiones comprometidas para recuperar la pérdida de aprendizaje dejan mucho que desear: 360 millones de euros para tres años a través del programa PROA+ anunciado por el Gobierno y las CCAA -equivalente a 50 o 60 euros por alumno para el 25% de alumnado más rezagado-.

Nuestra propuesta es multiplicar por diez esa cifra, hasta acercarnos a los 3.600 millones de euros en tres años (1.200 millones anuales). Pocas inversiones son tan rentables como escalar un programa de este tipo. Si extrapolamos los resultados de Menttores, solamente en lo que se refiere al éxito en la reducción de la repetición escolar, el Gobierno ahorraría alrededor de 1.200 millones anuales; lo mismo que costaría el tamaño del programa que planteamos.

El ejemplo de Menttores es, desgraciadamente, un caso aislado. En España no se diseñan programas piloto, ni se evalúan los efectos de las políticas antes de escalarlas. En el marco de Next Generation EU, tenemos una oportunidad única para cambiar la cultura de evaluación en España y, como con las vacunas, usar la mejor ciencia disponible para diseñar políticas con un verdadero impacto en la sociedad y hacer un mejor uso del dinero público. Para eso, sin embargo, es necesaria más fontanería y experimentación de campo entre los científicos sociales, promocionada, financiada y avalada por los gobiernos. No desaprovechemos la oportunidad.

Toni Roldán (Esade), Lucas Gortázar (Esade) y Claudia Kupkau (Cunef) son economistas.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *