Éclairer les sondages

Un sondage peut-il faire le printemps ? On a beaucoup glosé, chez les journaleux, sur « le » sondage qui place pour une fois Sarkozy devant Hollande au premier tour… dans 40 jours. SOFRES serait confirmé par IFOP le lendemain. Rappelons qu’un sondage n’est pas une élection et que 1638 personnes, même triées selon la méthode des quotas, ne font pas 43,2 millions d’électeurs…

L’opinion publique est une cristallisation de la diversité des opinions privées en « courant ». D’un côté, l’opinion est soumise à la contrainte sociale, culturelle et historique. Elle est convenue, stéréotypée, elle recherche le semblable. De l’autre, chaque opinion est relativement libre, non-conformiste, originale, issue de l’histoire personnelle affective, familiale, sociale, éducative et professionnelle de l’individu. C’est le propre de la raison grecque que d’avoir fait émerger l’individu pensant ; c’est le propre de la politique grecque que d’avoir fait se rencontrer les individus-citoyens sur une agora pour en débattre de façon démocratique. Via les Lumières, nous sommes héritiers de cette « libération » du biologique, du social et du dévots. Ces clans, traditions et religions qui restent si prégnantes dans d’autres « civilisations » visent à empêcher chacun de se faire par lui-même une opinion éclairée. Publique, l’opinion assure la cohésion de groupe nécessaire à tout projet politique. Privées, les opinions préparent les changements lents de la société.

La gageure des sondeurs est de transformer l’opinion individuelle, recueillie en expression personnelle de face à face, en une opinion commune censée représenter au mieux l’état du sentiment public. Pour schématiser la France entière, la méthode est de recourir à un échantillon statistique représentatif de la population. Cet échantillon ne doit pas être trop grand pour des raisons d’efficacité (trop de temps et trop de coût), mais pas trop petit non plus sous peine de ne plus signifier grand-chose (notamment pour les proportions faibles). La loi statistique de Laplace-Gauss permet d’estimer avec, par exemple, une probabilité de 95 chances sur 100 que les réponses se situent dans un intervalle d’écart peu significatif (écart-type), dit « de confiance ». Pour réduire de moitié l’intervalle de confiance, il faut multiplier par quatre la taille de l’échantillon. Plus la fréquence relative observée de la réponse est faible, moins la donnée est précise. C’est l’une des raisons pour lesquelles le vote Le Pen a été sous-estimé en 2002 et le vote Mélenchon mal situé fin 2011.

Est utilisée le plus souvent la méthode des quotas qui est un modèle réduit de la population en âge de voter à partir des grandes variables que sont le sexe, l’âge, la situation matrimoniale, la catégorie socioprofessionnelle, la préférence politique, le niveau d’instruction, le revenu, la religion, la commune habitée, etc. Il ne s’agit donc pas d’interrogations au hasard de personnes dans la rue, par téléphone ou Internet, ni d’une seule région, ni de gens qui se connaissent entre eux. Les limites de cette méthode sont connues : elles exigent un recensement récent et fiable de la population ce qui, malgré les progrès de l’INSEE, n’est jamais qu’approximation. Surtout que le recensement général est abandonné car trop cher, au profit d’estimations par sondages de population. Le calcul des chances qu’a un individu d’appartenir à l’échantillon est impossible à préciser, on le met donc arbitrairement dans des « cases » préétablies ; le contrôle scientifique des instituts d’enquêtes est difficile, chacun ayant sa méthode d’interrogation, ses approximations statistiques pour catégoriser l’échantillon et ses « recettes » empiriques de redressement des sous ou surévaluations connues.

Le questionnaire soumis à l’échantillon sondé doit être examiné avec attention.

• Un sondage qui soumet la préférence pour le candidat à la Présidentielle à des choix de « couples » : Carla/Nicolas, François/Valérie induit une idée reçue de monarchisme, de pipolisation et même de staracadémisation. Ce « point de vue » (images du monde ?) est biaisé – car le vote est pour un décideur sur un projet politique, pas sur une future dynastie destinée à assurer un héritier…
• Plus la question est compliquée, moins la réponse sera claire.
• Moins l’alternative est nette (oui ou non), moins le résultat sera « estimable » (au sens statistique). Notamment les alternatives négatives « n’avez-vous pas déjà… » : en bonne logique on peut répondre « oui, je n’ai pas déjà » ou « non, je n’ai jamais » – ce qui est inexploitable.
• Plus le questionnaire est long, plus la tendance est de répondre vite sur la fin.
• Plus les mots sont évaluatifs (pire, meilleur, plus apte…), moins la réplique sera fiable.
• Certaines questions suggèrent même la réponse dans leur formulation : « ne pensez-vous pas que M. X est le meilleur pour… ».
• Quant aux questions dites « ouvertes » pour ne pas enfermer les réponses dans la seule alternative oui ou non, elles intimident, elles engendrent incompréhension ou réplique maladroite, envie de « faire plaisir » à celui qui pose la question… bref, elles biaisent sérieusement les résultats quand la population n’est pas homogène !

Le principe de tout sondeur devrait être de partir de l’idée cynique que tout questionné est borné, changeant et de mauvaise humeur. Cet ours mal léché, on l’ennuie avec ces questions perso un peu intellos. La possibilité de se voir répondre n’importe quoi, même du ton le plus froid, ne doit jamais être négligée. Il faut donc être clair, utiliser un langage approprié à la population enquêtée en évitant le jargon, les poncifs, le technocratique, les mots-valise, la résonance affective ou polémique, etc. Rien n’est simple quand tout se complique, dessinait Sempé… Depuis une cinquantaine d’années que les sondages se sont acclimatés en France, les méthodes se sont affinées et sont devenues professionnelles. Mais la course au résultat, notamment lorsque la politique est en jeu, fait souvent aller trop vite.

Il faut notamment remettre en cause de façon régulière les méthodes de « redressement ». Il s’agit de vérifier, par des échantillons superposés, que les taux de réponses reçues par catégorie statistique ne varient pas trop. Éventuellement de « corriger » les écarts trop grands par des coefficients testés. Les personnes aux deux extrémités de l’échelle sociale sont moins facilement joignables et répugnent plus que les autres à répondre, par exemple. Les personnes âgées sont plus méfiantes envers les questions. Les habitants des villes, très sollicités par les démarcheurs en tous genres, se mettent aux abonnés absents. Les électeurs portés à voter autrement que politiquement correct ont soit tendance à en rajouter « pour emmerder le monde », soit à minimiser leurs préférences pour cacher leurs convictions intimes. Les réponses par Internet sont hautement fantaisistes, attirant les geeks qui se foutent de la politique. Et cela change selon les époques ! Ainsi, le vote Le Pen apparaissait-il comme « honteux » en 2002, mais beaucoup moins en 2012 où il s’est normalisé. Une sous-évaluation il y a 5 ans peut devenir une surévaluation aujourd’hui si les statisticiens ne surveillent pas attentivement le phénomène.

Sonder est un métier, interpréter les sondages aussi. Plus une science se veut opératoire, plus elle doit avoir conscience de ses limites. Les chiffres bruts ne sont jamais à prendre au premier degré, surtout lorsqu’on est loin de l’élection. Et encore moins anticiper le second tour alors que le premier n’est pas encore passé ! Les tendances importent, les évolutions au fil du temps qui dégagent des courants. Mais il faut surtout observer les sous-catégories où les variations se partagent. Si le résultat électoral ne compte ni les abstentions ni les votes blanc, il ne faut jamais oublier les « non réponses » ou les « indifférents » dans les enquêtes. Moins les gens répondent, moins le sondage doit être pris au sérieux.

En bref, la méthode du sondage est empirique ; elle n’a rien de scientifiquement prédictif. Elle est manipulée par ce qu’on attend comme réponse, utilisée comme propagande par les gagnants. C’est curieux comme Bayrou, Le Pen ou Mélenchon affectent de mépriser les sondages quand ils ne leur sont pas favorables… et s’empressent de les valoriser quand la tendance se raffermit pour eux !

Mais c’est bien ça la politique : la mauvaise foi, la caricature, la calomnie. De quoi se méfier encore et toujours des politiciens, de quelque bord qu’ils soient, et leur opposer encore et toujours des contrepouvoirs.