Comment le niveau des élèves évolue-t-il ? Progresse-t-il ? Baisse-t-il ? Ces questions préoccupent vivement parents, enseignants et politiques qui scrutent avec attention les informations que les enquêtes internationales leur délivrent régulièrement sur les performances des élèves.
L’une des évaluations les plus médiatisées est PISA (Programme for International Student Assessment), qui teste les compétences des élèves de 15 ans en lecture, sciences et mathématiques dans plus de 80 pays. Développée par l’International Association for the Evaluation of Educational Achievement (IEA), l’enquête PIRLS (Progress for International Reading Literacy Study) se centre de son côté sur un public plus jeune, mesurant les compétences en lecture et compréhension en quatrième année de scolarité obligatoire.
Ces études peuvent faire l’objet d’interprétations biaisées ou simplificatrices. Elles sont surtout, trop souvent, réduites à de simples classements bien qu’elles offrent un panorama beaucoup plus riche et complexe des évolutions éducatives.
Alors que paraissent ce 16 mai 2023 les résultats de la dernière enquête PIRLS (PIRLS 2021), revenons sur les principes qui gouvernent ces enquêtes pour mieux en comprendre les enjeux.
Comment se déroulent les tests avec les élèves ?
L’objectif de PIRLS est de mesurer, en fin de quatrième année de scolarité obligatoire, en classe de CM1 donc pour la France, la capacité des écoliers à rechercher de l’information pertinente dans un texte, à le comprendre, ceci afin d’effectuer des inférences (c’est-à-dire des déductions, en fonction de leurs connaissances antérieures) sur la thématique abordée. Contrairement à certaines évaluations nationales, PIRLS ne concerne en rien la maîtrise de l’orthographe et des règles de grammaire. L’enquête se concentre sur la capacité des élèves à effectuer des raisonnements structurés.
Comme toutes les enquêtes internationales, PIRLS est effectuée par le biais de « cahiers tournants » (en anglais des « booklets »). En termes très concrets, la totalité des questions (qu’on appelle des « items ») n’est pas posée à l’ensemble des élèves : seuls deux exercices, parmi 18, sont soumis à évaluation.
En somme, sur un total de 288 items, un élève n’est interrogé que sur environ 32 items, soit environ 11% de ceux-ci. Ce faisant, en mobilisant une méthode spécifique (appelée « théorie de réponse à l’item »), il devient statistiquement possible de prédire la performance de chaque élève pour l’ensemble des questions. Ainsi, l’on nommera « valeur plausible », le score de chaque élève qui, en vérité, demeure inconnu !
Le « P » de PIRLS signifiant « Progress », l’International Association for the Evaluation of Educational Achievement (IEA) a rapidement compris que, par-delà tout classement de pays, c’est l’évolution de la performance des élèves, entre 2001 et 2021, qui était statistiquement significative.
Bien plus que le classement, c’est la distance relative de la France vis-à-vis des autres pays qui importe. Dans cette perspective, la comparaison de la France avec la Finlande s’avère particulièrement instructive. La France – classée en milieu de tableau – obtient un score d’environ 35 points inférieurs à ceux du pays scandinave en 2021. Cet écart de points pèse davantage dans la balance que le classement à proprement parler.
Comment comprendre le classement d’un pays ?
Les scores publiés sont avant tout des projections statistiques de la performance d’un pays. Dans le cas de PIRLS, l’erreur type est d’environ trois points ce qui veut dire que les scores d’un pays peuvent varier de trois points. En clair, si l’on désire comparer deux pays, une différence de six points n’aura guère de sens (puisqu’elle équivaut à l’addition des erreurs types des deux pays).
À titre d’exemple, un écart de 10 points n’est pas toujours significatif statistiquement. Or, celui-ci peut aisément se transformer en cinq voire six places de perdues dans le classement international. C’est le cas dans l’enquête PIRLS 2021, où seulement 10 points séparent la France et l’Allemagne. L’écart est de l’ordre de 0,3 point quand on le rapporte à une échelle de notes de 1 à 20, ce qui est faible statistiquement. Or, l’Allemagne est classée au 26e rang, la France, au 32e. Au contraire, la comparaison avec la Finlande représente une différence d’environ 1 point sur notre échelle de notes française, ce qui est clairement plus significatif.
En supposant qu’une année scolaire en primaire apporte 35 points, en tendance, les résultats montrent que la Finlande parvient à faire progresser ses élèves d’environ 1 année de plus que la France. Ce type de mise en perspective est définitivement plus parlant qu’une simple place dans un classement.
Les seuils de performance sont une information particulièrement précieuse dans la lecture de PIRLS. À l’image de ce qui se fait avec le socle commun de compétences développé en France, PIRLS distingue un seuil « minimum » (relatif à la limite au-dessous de laquelle un élève ne peut pas correctement lire et comprendre un texte) de trois autres seuils appelés respectivement « intermédiaire », « élevé » et « avancé ». À titre de comparaison, notons ici que seulement 5% des élèves français atteignent le seuil « avancé » contre 14% pour les élèves polonais.
Le recours à l’analyse de l’évolution des seuils de performance peut dès lors s’avérer fort utile. N’oublions jamais qu’une moyenne peut, par définition, cacher des inégalités fortes : par exemple, l’écart entre les seuils extrêmes est plus élevé pour la France (89) que pour la Finlande (82), indiquant un fort niveau d’inégalités. Cet écart a même augmenté de 1% en France entre 2001 et 2021.
Au-delà des scores, que nous apprennent les enquêtes internationales ?
Est-ce que copier la politique éducative des pays avec de meilleures performances serait une stratégie pertinente afin d’améliorer les scores de la France ? Chaque système éducatif ayant sa propre trajectoire, transposer aveuglement le modèle de pays dont les scores sont élevés n’est pas nécessairement gage de succès. En effet, les récentes expérimentations soulignent l’absence de consensus sur les méthodes les plus efficaces. Quant aux recherches en économie de l’éducation, elles sont relativement pauvres en résultats transposables.
Peut-on faire confiance à l’enquête PIRLS ? À l’image de PISA, elle a des forces et des faiblesses. Une contrainte de taille renvoie, comme évoqué précédemment, à la fâcheuse tendance de vouloir la réduire à son classement. Plusieurs travaux ont, par ailleurs, mis en évidence que certains pays ont volontairement focalisé leurs programmes scolaires sur les compétences évaluées dans les tests internationaux. Notons ici qu’il serait toutefois trompeur de se baser uniquement sur le classement PIRLS pour mesurer l’évolution de la performance française : tous les pays ne participent pas systématiquement à chaque vague d’enquête.
Mais PIRLS n’est pas qu’un test de performance. Des questionnaires contextuels sont distribués aux parents, aux élèves, aux enseignants et aux directeurs d’écoles. Ce sont donc des milliers d’informations qui sont disponibles et comparables entre les pays, comme la taille des classes, les pratiques pédagogiques, les ressources socio-économiques des élèves…
En fait, la principale limite de PIRLS renvoie surtout à son incapacité de mesurer les « progrès » des élèves : les enquêtes internationales (PISA, TIMSS et PIRLS) n’évaluent pas les mêmes élèves de manière répétée. En guise d’optimisme, nous notons avec intérêt que l’IEA a, tout récemment, décidé de prendre l’initiative de tester les élèves à 12 mois d’intervalle (« PIRLS Longitudinal » et « TIMSS Longitudinal »), précisément dans le but de mesurer leurs possibles progrès… sans la participation officielle de la France toutefois !
Article écrit par Nadir Altinok, Maître de conférences, IUT de Metz, UMR BETA, Université de Lorraine et Claude Diebolt, Directeur de Recherche au CNRS, UMR BETA, Université de Strasbourg
Cet article est republié à partir de The Conversation sous licence Creative Commons. Lire l’article original.
Les opinions exprimées dans cet article sont celles de l’auteur et ne reflètent pas nécessairement celles d’Epoch Times.
Comment pouvez-vous nous aider à vous tenir informés ?
Epoch Times est un média libre et indépendant, ne recevant aucune aide publique et n’appartenant à aucun parti politique ou groupe financier. Depuis notre création, nous faisons face à des attaques déloyales pour faire taire nos informations portant notamment sur les questions de droits de l'homme en Chine. C'est pourquoi, nous comptons sur votre soutien pour défendre notre journalisme indépendant et pour continuer, grâce à vous, à faire connaître la vérité.