L’étude PISA, faut-il la prendre au sérieux ou s’en méfier?

«Le niveau monte à Singapour et au Canada, stagne dans plusieurs pays d’Europe et aux Etats-Unis, baisse en Australie.» C’est ce que révèlent les résultats de la toute dernière enquête PISA sur les acquis scolaires à l’âge de 15 ans dans 72 pays. «Courrier international» en propose un tour d’horizon médiatique et montre à quel point les débats sur ce sujet sont passionnés.

Si la Suisse, elle, remet en cause la méthodologie de l’étude, on ne compte pourtant plus les expressions du type «PISA montre que…» ou «PISA nous apprend que…»… PISA reste «une référence» aux yeux du «Monde». «Réservée, à ses débuts, à un cercle d’initiés, elle est devenue un élément clé du débat sur l’éducation. Une «pièce à conviction» pour pointer les forces et faiblesses» de nos systèmes scolaires. Dès lors, de nombreux spécialistes s’interrogent: quelle crédibilité lui accorder? «Quelles sont les bonnes raisons de la prendre au sérieux ou, au contraire, de s’en méfier?»

letude-pisa-faut-il-la-prendre-au-serieux-ou-sen-mefier
Le classement PISA, pays par pays.

«Sur le plan méthodologique, rien à redire», soutient le quotidien français, a contrario des critiques émises en Suisse ce lundi. «Plus problématique», selon lui, est «l’usage qui est fait de PISA». Pour Julien Grenet, chercheur à l’Ecole d’économie de Paris, «ces palmarès ont peu de fondements statistiques. Le score moyen de chaque pays est entouré par une incertitude, qui tient au fait que l’enquête porte sur des petits échantillons d’élèves et présente des marges d’erreur. Si bien que des pays dont les rangs sont proches dans le classement peuvent avoir des résultats qui ne sont pas statistiquement différents.»

En outre, dit cet expert, «il faut comparer ce qui est comparable. PISA ne prend en compte que les jeunes de 15 ans scolarisés». Alors, si l’on peut comparer entre eux les pays de l’OCDE «qui ont des taux de scolarisation à 15 ans proches de 100%, on ne peut pas en faire autant avec des pays où ce taux est bien plus bas».

Le baromètre des gouvernements

Or, précisément, «évaluer de manière générale les compétences» d’élèves du même âge, c’est évaluer aussi, «dans un cadre conceptuel commun, les résultats des systèmes éducatifs dans la préparation» de ces jeunes à la vie adulte. De facto, «le but est notamment de comparer les différents systèmes éducatifs à travers le monde», décrypte RTL France, qui s’appuie pour ce faire sur la Revue internationale d’éducation de Sèvres (RIES).

«D’abord regardée avec méfiance, voire avec du déni, par des décideurs nationaux, l’enquête est devenue un baromètre incontournable pour les gouvernements, qui l’invoquent pour justifier des choix parfois aux antipodes.» Mais malgré «plusieurs critiques la visant», PISA demeure riche d’enseignements, puisque, rappelle la RIES dans un de ses articles, «le programme international de suivi des acquis des élèves de l’OCDE» ne se contente pas d’évaluer ou de mettre les pays concernés en compétition, mais il «est explicitement conçu et présenté comme un outil d’aide à la décision, supposé en particulier jouer un rôle de catalyseur».

Pour une «analyse mesurée»

Ainsi, des «réformes d’envergure» ont été «entreprises en référence à PISA en Allemagne et en Suisse», par exemple, poursuit la RIES. Et «les mentions d’un «choc PISA», que celui-ci soit effectif, annoncé ou seulement souhaité, se multiplient dans les discours des responsables politiques européens, parfois même dans les propos de chercheurs. PISA serait devenu une source d’information et de connaissance politiquement légitime incontournable. Il est attendu du classement des systèmes éducatifs sur une échelle de performances et de la comparaison internationale des résultats de leurs élèves […] qu’ils suscitent à la fois l’émulation et les constats objectifs nécessaires pour que les Etats participants mettent en œuvre des réformes leur permettant d’améliorer la qualité, l’efficacité et l’équité de leur système éducatif.»

Le site «Letudiant.fr», qui reprend les thèses de «TheConversation.com», en appelle à «une analyse mesurée» de PISA. Tout en mettant «en garde sur le danger de bâtir des politiques éducatives à partir de cette enquête». Car son «utilisation pose des problèmes variés qui ne sont jamais purement techniques». Echantillonnage, par exemple, implique marge d’erreur – on l’a vu, cette critique revient toujours. Ce, «alors que les classements sont fortement médiatisés, la position d’un pays n’est souvent pas différente significativement d’un nombre assez élevé de ses voisins. L’oublier conduit à surestimer les écarts […], alors que les écarts de performance les plus importants opposent avant tout les pays riches et les pays pauvres.»

L’exemple de la Finlande

Les données transversales, on le sait, ont des limites. Alors «prenons l’exemple de l’interprétation des bons résultats finlandais», comme le font ces deux sites. «Si l’on est syndicaliste, on les met en relation – on les «explique» – avec le niveau élevé des rémunérations et du prestige des enseignants. Si l’on croit à la pédagogie, on les mettra plutôt en relation avec le suivi individualisé dont bénéficient les enfants en échec.»

Par ailleurs, si l’on a «un a priori favorable à l’autonomie des établissements, on soulignera que les écoles finlandaises ont un niveau d’autonomie plus élevé que les autres pays, en oubliant de préciser que cela ne concerne que la politique d’évaluation des élèves (pour les autres dimensions de l’autonomie – recrutement des enseignants, budget, admission des élèves – les écoles finlandaises sont souvent moins autonomes que la moyenne de l’OCDE). Et ainsi de suite…»

PISA, «discours dominant»?

En conclusion, on ne saurait «caler» les politiques éducatives sur les enquêtes PISA. Mais en attendant, les Etats en tiennent-ils concrètement compte «ou ne s’agit-il là que d’un discours dominant?» Toute la question est là… «A ses débuts, l’enquête ne concernait qu’une trentaine de pays mais au fil des ans, les participants sont toujours plus nombreux à taper à la porte, tant PISA […] s’est imposé comme un indicateur de référence» – encore elle – fait remarquer «Libération». Pourtant, PISA, qui existe depuis 2001, «n’est pas la première étude du genre. Il en existe d’autres.» Dont une qui remonte à la Guerre froide.

Revenons-y avec «Libé». A la fin des années 1950, «les Soviétiques ont réussi à lancer le premier satellite Spoutnik. Les Américains, vexés comme des poux, se mettent à douter (un peu): leur système éducatif serait-il moins performant?» Peu de temps après, naît l’Association internationale pour l’évaluation de l’efficacité dans le domaine scolaire (IEA). Cette ONG «développe alors les premiers prototypes d’études internationales. Inconnue du grand public, l’IEA existe toujours et continue de mener des enquêtes.»

Bientôt de la concurrence?

Alors pourquoi ne parle-t-on que de PISA? «La réponse est assez simple: c’est une affaire de communication. A l’origine, l’IEA a pensé ses enquêtes dans la seule optique de nourrir la recherche scientifique, les résultats sont donc restés essentiellement dans cette sphère», explique un expert. Mais «les choses sont en train de changer. Depuis peu, l’IEA commence à s’intéresser à l’aspect médiatisation, conscient de l’enjeu vital pour la survie de ses études. Sur ce terrain, l’OCDE avait de toute façon une (large) longueur d’avance, avec une assise politique et un écho médiatique, sans commune mesure avec l’IEA.»

De la concurrence pour PISA, voilà qui serait bien intéressant, en permettant peut-être d’arroser l’arroseur. Et de susciter, à n’en pas douter, des débats encore plus passionnés, à imaginer que des résultats contradictoires voient le jour.

Olivier Perrin

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *