De l'interprétation des résutats du PISA en mathématiques

On peut s'interroger à juste titre sur la lecture des résultats de l'enquête PISA qui place la France en 18ème position et au 17ème rang pour les mathématiques. La politisation de leur interprétation est un phénomène croissant qui mérite aussi d'être souligné. L'école a-t-elle besoin de ce débat? J'ai publié, il y a plus d'une semaine ( le 30/11), un article intitulé " Les écoliers français médiocres ". J'ai cette naïveté de croire que les personnes lisant de tels articles vont forcément s'interroger sur les conditions de l'enquête, sur les buts recherchés et donc prendre avec la plus grande précaution les résultats bruts afin de les interpréter. Lorsque je relais un article, ce n'est pas qu'il reflète une position personnelle mais que j'ai jugé le sujet suffisamment intéressant pour faire débat ou servir de matériau pour une réflexion un peu plus poussée, ce que je n'ai pas toujours le temps de faire.Ainsi en France, en décembre 2007, deux chiffres sont élus au panthéon des résultats statistiques 17 et 18! Les commentaires vont bon train et sur les blogues, on trouve des titres La France fabrique-t-elle des crétins ? Baisse du niveau scolaire en France, Education Nationale et Nullitude, Un niveau scolaire moyen pour une puissance moyenne: ICI

On peut lire sur ce dernier blog la solution "miracle" d'Eric Charbonnier : “La France doit diminuer sa proportion d’élèves en difficultés (20%) et augmenter sa proportion d’excellents élèves pour pouvoir s’améliorer dans les classements internationaux”, ses préconisations sont simples :  “peut-être d’alléger les programmes scolaires et de mettre en place des heures de soutien pour les élèves les plus en difficulté”.

Tout cela se mort un peu la queue. Alléger les programmes pour que le niveau monte! Déjà que certains se plaignent qu'on n'apprend plus rien à l'école et comme recette pour augmenter le proportion d'excellents élèves, c'est plutôt surprenant. Bonne ou mauvaise idée? Si quelqu'un détenait la recette " globale et totale", à un problème aussi complexe, ça devrait se savoir....chaque stratégie éducative a des avantages et des inconvénients qu'il faut assumer. Loin de tels débats, l'enquête PISA réduit les performances globales d'un système éducatif à un seul chiffre: sa position par rapport aux autres pays.
Mais quel est le rapport entre la Finlande, la France, Je Japon et la Corée pour que l'on puisse ainsi mettre en rapport leurs stratégies éducatives qui répondent souvant à une problématique historique  qui leur est propre?
Le problème de l'intégration se pose-t-il au Japon et en Finlande? Qu'en est-il du nombre d'habitants de tel ou tel pays, de la centralisation ou de la décentralisation des systèmes. La France est l'un des pays qui fait le plus redoubler, ceci à cause du contenu très ambitieux de ses programmes ( il suffit par exemple d'avoir enseigné  le programme de mathématique en 4ème pour le savoir ), c'est un choix, qui mérite peut-être d'être revu, mais pour l'instant c'est le nôtre. Or l'enquête PISA s'appuie sur une tranche d'âge, ainsi donc les écoliers français n'ont pas la même maturité scolaire, ce qui fait que le critère " de même âge " n'est pas tellement adapté à notre système scolaire. De plus l'enquête PISA ne prend en compte que les élèves scolarisé, ce qui peut aboutir au paradoxe soulevé par  Pierre Duhamel au Canada ICI:"Bref, trop de jeunes quittent trop tôt l’école. Mais ceux qui y restent obtiennent des résultats meilleurs que ceux de la plupart des élèves des autres pays. " Le Japon est quant à lui, tout simplement catastrophé : ICI et chaque pays va de l'autofélicitation à l'autoflagellation, suivant ainsi la diversité des attitudes possibles devant une bonne ou une mauvaise note. Certains ont même d'ailleurs triché ( mais chut !)

Parmi tous les billets que j'ai lu, seul Guy Marion se penche réellement sur l'interprétation des résultats de l'enquête, en précisant:
Que valent les études PISA ?
Ces évaluations se fondent sur des tests que doivent passer un échantillon représentatif
d 'adolescents de 15ans (il s'agit d'une étude par tranche d'âge et non par niveaux scolaires), les états ayant la possibilité d'exclure une très faible proportion d'élèves en grande difficulté. Il est à noter que certains ont carrément triché en excluant un grand nombre d'élèves en difficultés (cas de la Corée du Sud qui a ainsi obtenu d'excellents résultats en 2003 !).
Les questions de ces tests sont majoritairement élaborées par un consortium de centres de recherche dirigés par un centre australien et dont les autres membres sont issus des pays suivants : États-Unis, Japon et Pays- Bas. La transparence n'est pas de mise : ce consortium garde secret l'immense majorité de ses questions, ne révélant que celles qui ont été rejetées ou ne sont plus utilisées.
La majorité de ces questions reflète l'origine en grande partie anglo-saxonne du consortium : beaucoup de QCM, questions s'inspirant plutôt de la vie quotidienne que d'exercices disciplinaires, styles de questions avec lesquelles les élèves français (et de nombreux pays latins) ne sont pas familiarisés. En outre, il s'agit plus dévaluer la façon dont les jeunes sont capables d'exploiter leurs connaissances dans leur pratique quotidienne
(conception plutôt anglo-saxonne de l'École) que leur niveau théorique dans tel ou tel domaine des Sciences ou des Lettres (conception plutôt en vigueur en France et dans les pays latins).
Des influences idéologiques sont perceptibles. Le commanditaire de ces études, l'OCDE est une organisation à but économique et non éducative.
On peut s'interroger sur la capacité de nos élèves à répondre à certaines questions qui peuvent leur sembler déroutantes ( ICI ) et de convertir ensuite de tels résultats en "niveau de mathématiques" alors qu'aucune question faisant intervenir les théorèmes de Thalès et de Pythagore n'est posée, ce qui constitue pour la France, le couer de l'enseinement de géométrie jusqu'en seconde!

Il s'agit par exemple en mathématique d'évaluer la culture mathématique et non les mathématiques elles-mêmes comme l'indique ce document PDF à partir de la page 81 ( à consulter impérativement ).

On lira : La culture mathématique est l’aptitude d’un individu à identifier et à comprendre le rôle joué par les mathématiques dans le monde, à porter des jugements fondés à leur propos et à s’engager dans des activités mathématiques, en fonction des exigences de sa vie en tant que citoyen constructif, impliqué et réfléchi.
En France, les mathématiques ne sont pas du tout enseignées sous cet angle là. Est-ce bien ou mal? Ce n'est pas à moi d'y répondre, mais il me semble fondamental  d'inclure cela dans l'interprétation des résultats de l'enquête que l'on fera.

Les exemples donnés dans ce dossier parlent d'eux-mêmes :

Exemple n° 1 : BATTEMENTS DE COEUR

Exemple n° 2 : VACANCES

Exemple n° 3 : COMPTE D’ÉPARGNE

Exemple n° 4 : PIÈCES DE MONNAIE avec ce petit bijou de justification introductive :
L’exemple n° 4 présente un problème où le contexte, imaginaire, est extra-mathématique.
D'autant plus que la première question de ce problème n'est pas très " académique", et si elle est tout à fait digne d'intérêt n'en reste pas moins surprenante pour des élèves français: 

Serait-il concevable de mettre en place un système de pièces de monnaie en n’utilisant que les valeurs 3 et 5 ? Plus spécifiquement, quels sont les montants qui pourraient être obtenus sur cette base ? Un tel système serait-il souhaitable ?

Exemple n°5 : EXCURSION SCOLAIRE

Exemple n°6 : PROLIFÉRATION CELLULAIRE

Exemple n°7 : PROIE-PRÉDATEUR

Exemple n°8 : GAUSS

Exemple n°9 : POURCENTAGES

Exemple n°10 : ÂGE MOYEN
Avec la belle question :  Si 40 % des habitants d’un pays ont au moins 60 ans, est-il possible que l’âge moyen de la population soit de 30 ans ?

Exemple n°11 : AUGMENTATION DES REVENUS ?

On peut donc s'interroger sur la capacité qu'on nos élèves à répondre à ce type de questions lorsqu'on les entraîne sur Thalès, Pythagore, les fonctions, les dérivées, les intégrales ou le produit scalaire.
Ce qui est placé au centre de cette enquête n'est pas au sens strict, ce que l'on nomme en France " Mathématiques", ce qui ne retire en rien à la qualité de ces exercices mais , je le rappelle doit être mis en avant, lorsque l'on se permet d'interpréter les chiffres bruts et devenir ainsi des sortes de vautours rassemblés autour d'une charogne que serait l'Education Nationale française, qui si elle ne réussit pas sur tous les fronts, n'échoue pas non plus sur tous.
Pour conclure, il ne me semble pas que l'enquête PISA soit la mieux placée pour évaluer le niveau de l'enseignement des mathématiques en France qui rappelons le quand même est au premier rang mondial de la recherche mathématique : ICI

La question de la récupération politique des résultats de l'enquête prend ainsi tout son sens, et on pourra lire l'article suivant:

L'OCDE et partenaires sont de plus en plus préoccupés par la politisation des résultats du Programme International pour le Suivi des Acquis des élèves (PISA).

Avec l'annonce des derniers résultats de PISA 2006, les éducateurs ont été témoins de la même histoire se déroulant à travers le monde. Dans des pays où les étudiants sont arrivés près du sommet, les politiques se félicitent et prennent crédit pour une bonne politique de l'éducation. Dans des pays avec une réussite moindre, les politiques blâment le système scolaire et les enseignants pour une performance pauvre. Dans les deux cas, les rapports des médias tendent à se focaliser sur le classement et offrent une approche simpliste de style "tableau de ligue". La suite ICI