Sortez vos feuilles, c'est un test ^^

Toujours curieux, j'ai voulu essayer de savoir quels types de questions pouvaient comporter les enquêtes PISA. Il est difficile de trouver une réponse sur le site de l'OCDE. J'ai quand même trouvé des éléments de réponse sur un test intitulé "lecture" pour PISA 2000. On peut les trouver sur ce lien

Je vais vous donner un exemple concret (dont le thème est lié aux S.E.S), sachant qu'il ne s'agit que d'une partie du questionnaire et qu'il est soumis à des jeunes de 15 ans. J'en fais un commentaire rapide.

Le diagramme en arbre ci-dessous présente la structure de la population active d'un pays, c'est-à-dire sa "population en âge de travailler".

En 1995, la population totale de ce pays était d'environ 3,4 millions d'habitants.
La structure de la population active, au 31 mars 1995 (x 1 000)

Question 1 : Quels sont les deux groupes principaux entre lesquels se répartit la population en âge de travailler ?

A Les travailleurs et les chômeurs.
B Les personnes en âge de travailler et celles qui ne sont pas en âge de travailler.
C Les travailleurs à temps plein et les travailleurs à temps partiel.
D Les personnes sur le marché du travail et celles qui ne sont pas sur le marché du travail.

La réponse est D

Compréhension globale ( identifier le principe organisateur essentiel d'une série d'informations)

52 % de réussite .

Le taux de réussite est plutôt faible alors que la réponse parait facile.

Comment l'expliquer ?

2 hypothèses: - je le remarque souvent, les élèves n'adoptent pas une démarche méthodique: ils se précipitent sur les détails, ne cherchent pas à savoir comment le tableau a été construit: ils veulent trouver la réponse immédiatement. Je le vois pour les statistiques (ils vont passer des heures sur la rubrique "autre" qui ne concerne qu'une minorité extrême de cas) mais aussi pour les schémas (dont ils ne parviennent pas à repérer le début et la fin)

- Quelquefois, certains élèves croient que la question exige un degré de complexité élevé, ils ont donc tendance à être attirés vers des réponses dont ils ne comprennent pas vraiment le sens...mais qui leur paraissent suffisamment "savantes" à leurs yeux pour être valables (quand on leur demande d'expliquer leur réponse, ils n'y parviennent pas)

Question 2 : Combien de personnes en âge de travailler ne sont pas sur le marché du travail ? (Écrivez le nombre de personnes, non le pourcentage).

Réponse: 949 900

Développer une interprétation (intégrer deux éléments d'information fournis explicitement par le document.)

50 % de réussite.

Ah là là: c'est un grand classique ! La question des unités. Ici, il fallait repérer 2 informations (949.9 + unité en milliers). Je ne suis pas surpris du résultat (1 élève sur 2 donne la bonne réponse). J'ai des élèves qui ne lisent pas les informations (ici, ils négligent l'unité), mais j'ai aussi des élèves qui ont repéré les 2 informations...mais qui ne parviennent pas à rédiger une réponse correcte ("M'sieur, ça se dit deux mille milliers ?").

Evidemment, ils ne connaissent pas les chiffres (dans notre matière) et n'ont pas d'ordre de grandeur en tête qui pourraient les amener à se corriger (un élève m'a écrit: " de 2002 à 2008, il y a eu 6 chômeurs en plus").

Question 3: A quelle catégorie du diagramme en arbre appartiennent les personnes suivantes, pour autant qu'il y ait une catégorie qui convienne. Indiquez votre réponse en faisant une croix dans la case appropriée.

Réfléchir sur le contenu d'un texte : appliquer les critères fournis par un texte à d'autres cas de figure.

C'est le plus faible taux de réussite parmi les questions. Je donne moi-même souvent ce type d'exercices de classement avec cet objectif (s'approprier les critères de classement de l'économiste pour pouvoir classer des exemples). Le degré de réussite est variable:

- en début de séance, après avoir donné les critères, le taux de réussite est proche de 30 à 40 %. En effet, les élèves raisonnent "à l'instinct": ils classent rapidement les exemples et n'appliquent que très peu les modes de raisonnement.

- en fin de séance, après avoir fait de multiples erreurs et en reprenant avec eux les différentes étapes (quelles questions faut-il se poser pour que cet exemple soit classé ici ou là ?), en cherchant des cas difficiles à classer (par exemple: l'AJA est-elle une entreprise, une administration ou une association ?) le taux de bonne réponse dépasse les 80 %.

- lors de l'évaluation sommative (après quelques séances de cours), le taux de réussite reste élevé.

Question 3 : Supposez que des informations sur la structure de la population active soient présentées chaque année dans un diagramme comme celui de cet exercice.

Le tableau ci-dessous présente quatre données figurant dans le diagramme. Peut-on s'attendre à ce que ces données changent d'une année à l'autre ? Répondez en entourant " Changeront " ou " Ne changeront pas" pour chacune des quatre données. La première réponse a été entourée à votre place, à titre d'exemple.

Réfléchir sur le contenu d'un texte : comprendre le statut des divers éléments d'un diagramme.

68 % de réussite

Je n'ai jamais posé ce type de questions. Le taux de réussite élevé montre qu'elle ne pose pas vraiment problème. Les élèves ont repéré que seules données chiffrées allaient varier. Cela me laisse tout de même songeur sur le classement très moyen de la France dans ses tests. En effet, quand je vois les types de travaux que mes enfants réalisent en classe ou que moi-même je propose aux élèves...ils me paraissent plus complexes que ces tests. Mais, cette enquête s'adresse aux jeunes de 15 ans: tous ne sont pas (ou plus) au lycée d'enseignement général (nous ne recevons que 60 % des élèves de collège)...

Question 4 : L'information sur la population active est présentée sous forme de diagramme en arbre, mais elle aurait pu être présentée de bien d'autres manières, par exemple une description écrite, un diagramme en "camembert", un graphique ou un tableau.
Le diagramme en arbre a vraisemblablement été choisi parce qu'il est particulièrement utile pour présenter :

A l'évolution dans le temps.
B la taille de la population totale du pays.
C les catégories au sein de chaque groupe. D la taille de chacun des groupes.

Réfléchir sur la forme d'un texte (identifier les avantages d'un mode de présentation particulier pour atteindre un objectif ou par rapport à un contenu)

67 % de réussite

C'est une question importante sur le choix d'une représentation graphique. J'essaye de plus en plus d'inclure des questions demandant aux élèves de réaliser un choix et de le justifier. Cette année encore, en TPE (travaux personnel encadré), je demande à un groupe de m'expliquer pourquoi ils avaient choisi d'inclure cette image dans leur dossier. Leur justification était, comme souvent, artificielle: notre sujet est sur....donc a mis cette image qui parle de cela...J'aime bien la formulation de l'objectif de la question: les avantages d'un type de présentation pour atteindre un objectif ou par rapport à un contenu. Ce sont justement ces aspects qui posent problème.

Même si ce test date de 2000, il nous dévoile un peu mieux ce qui est évalué (pour aller vite: des savoir-faire plus que des savoirs).

Il est évident que, si j'avais dû concevoir ces questions, j'aurais mis le niveau d'exigence plus haut et rajouté des savoirs.

Or, un certain nombre d'élève ont déjà des difficultés avec ces questions. J'en ai déjà parlé avec les élèves de seconde dans un précédent billet (où je me suis aperçu qu'en ne donnant plus de questions de cours et en leur fournissant le cahier, ils ne réussissaient pas faute de compréhension et de mode de raisonnement).