Les sondages en politique

Une élection est toujours le moment où l'on fait dire n'importe quoi aux sondages, d'autant plus que nombre de politiques imaginent qu'ils constituent le seul moyen tangible d'appréhender l'opinion publique, instituant de la sorte le règne des médias et des sondeurs... Aujourd'hui, je vous propose donc après mes billets politiques (la politique économique selon Macron, l'absence de choix et la crise qui couve et les vrais résultats de l'élection présidentielle) quelques explications simples sur la fabrication des sondages et les limites dans leur interprétation.

Qu'est-ce qu'un sondage ?

Tout d'abord, on appelle sondage une enquête statistique d’opinion basée sur un échantillon. En effet, interroger toute la population serait à la fois fastidieux et hors de prix, alors on se contente d'une partie de la population que l'on souhaite représentative de l'ensemble. Cela exclut donc les votes dits de paille, c'est-à-dire les questions que l'on vous propose dans les journaux et auxquelles tout un chacun peut répondre quitte à appeler tous ses amis pour faire pencher le résultat dans un sens ou dans l'autre.  

En France, la loi du 19 juillet 1977, telle que modifiée par celle du 25 avril 2016, définit le sondage à son article premier dans les termes suivants : "un sondage est une enquête statistique visant à donner une indication quantitative, à une date déterminée, des opinions, souhaits, attitudes ou comportements d’une population par l’interrogation d’un échantillon". Elle interdit strictement, du vendredi minuit au dimanche 20 heures, toute diffusion de sondages relatifs à l’élection présidentielle.

Comment est fabriqué un sondage ?

Pour couper court à trop de critiques, le sondage est normalement accompagné d'une notice qui précise comment il a été créé : taille de l’échantillon et méthode retenue pour le constituer, date, méthode d’administration, marge d'erreur, etc. Précisons un peu ces mots.

 * Taille de l'échantillon : intuitivement, tout le monde comprend que plus l'échantillon est de grande taille, plus la marge d'incertitude se réduit. L'idéal, inatteignable pour des raisons de coûts, serait bien entendu d'interroger toute la population. D'où, en général, des échantillons de 1 000 personnes.

 * Méthode des quotas : contrairement à la méthode aléatoire où les personnes de l'échantillon sont tirées au sort, la méthode des quotas consiste à interroger un échantillon de personnes qui ont les mêmes caractéristiques socio-démographiques que l’ensemble de la population (sexe, âge, catégorie socio-professionnelle,...).

 * Marge d'erreur : il faudrait en toute rigueur parler de marge d'incertitude liée au fait qu'un sondage effectué sur un échantillon donne un résultat évidemment différent de celui que l'on obtiendrait en interrogeant toute la population. Ainsi, si l'on utilise un échantillon de 1 000 personnes, qui est du reste la taille usuelle, la marge d'erreur pour la méthode aléatoire est de 3 %. Elle est de 2 % pour un échantillon de 5 000 personnes et de 1 % pour 10 000 personnes...

Cela ne veut pas dire que la "vraie" valeur se situe nécessairement dans un intervalle compris entre plus ou moins 3 % de celle trouvée. Au contraire, il faut encore fixer un seuil de confiance pour l'intervalle trouvé, par exemple à 95 %. Dans ces conditions, si l'on prélève un grand nombre d'échantillons de même taille dans cette population, bref que l'on refait plusieurs fois de suite le même sondage, 95 % des intervalles calculés contiennent la vraie valeur du paramètre à estimer. On ne peut donc absolument pas en déduire comme le font certains journalistes, que si deux candidats ont des intentions de vote proches (donc une différence inférieure à la marge d'erreur de 3 % par exemple), alors l'élection reste indécise. Bien au contraire, à ce moment donné l'un des candidats peut être largement en tête, mais l'erreur d'échantillonnage, entre autres, ne permet pas de la voir... Ce sont les limites des sondages ! 

 * les méthodes d'administration : on peut réaliser un sondage en face-à-face, par téléphone (méthode CATI pour Computed Assisted Telephone Interviewing) ou par Internet (méthode CAWI pour Computed Assisted Web Interviewing).

Les limites d'un sondage

Commençons par rappeler que seule la méthode aléatoire permet de mesurer la marge d'erreur, contrairement à la méthode des quotas, même si les sondeurs affirment le contraire (exemple chez IPSOS) : "l’inconvénient majeur de la méthode des quotas est de ne pas permettre de calculer scientifiquement la marge d’erreur du sondage. Les lois statistiques qui permettent de la déterminer ne valent théoriquement que pour les sondages aléatoires. En pratique, on considère cependant que la marge d’erreur des sondages par quotas est égale ou inférieure à celle des sondages aléatoires". Curieux, vous avez dit curieux ?

D'ailleurs, il suffit de regarder la différence entre le niveau d'études des sondés en février et celui des inscrits sur les listes électorales pour avoir des doutes sur la représentativité des échantillons :

[ Source : Les Échos ]

Au surplus, le phénomène de non-représentativité est amplifié à une époque comme la nôtre où l'anti-système est devenue une valeur cardinale, puisque certains refusent de répondre aux sondeurs tandis que d'autres sont surreprésentés comme le montre cette tribune, ce qui fausse évidemment l'interprétation des résultats obtenus...  Mais il est aussi important de remarquer que la marge d'erreur est uniquement liée à l'échantillonnage et ne dit donc rien des éventuels biais, mensonges des répondants et autres erreurs de réalisation. Et encore, répétons-le, la méthode des quotas, retenue le plus souvent pour faire des sondages, ne permet pas de calculer une marge d'erreur malgré les belles paroles des sondeurs doxocrates.

En dehors de cela, j'ai tendance à me méfier des sondages réalisés sur Internet, ne serait-ce qu'en raison du nombre élevé de biais de cette méthode d'administration liés au problème de la représentativité des personnes possédant Internet (défaut de couverture), de l'éventuelle rémunération des sondés, etc. Le plus surprenant est que face à des biais et des mensonges possibles (notamment sur le vote pour les extrêmes), les sondeurs organisent une petite cuisine interne tenue secrète appelée redressement... Elle consiste à tenir compte des différences constatées entre les résultats de la précédente élection et les sondages réalisés à cette même époque, pour tenter de corriger les biais actuels (sic !).

Ajoutez à cela la forte volatilité du vote, les citoyens ne sachant plus très bien à quel saint laïc(ard) se vouer tant ils ont été échaudés ces dernières années par les promesses de campagne non tenues, et vous comprendrez pourquoi faire confiance aux sondages est sinon une pure folie au moins un exercice de foi ! Pour tenter d'étudier l'indescriptible opinion publique, il faut aussi analyser les flux sur les réseaux sociaux, les livres achetés, etc. Mais comme les sondeurs doxocrates (Platon aurait plus certainement parlé de doxosophes...) trouvent toujours une explication pseudo-scientifique à leurs erreurs, ils finissent de la sorte par avoir toujours raison !

Pierre Bourdieu, dans un texte célèbre publié dans Questions de sociologie en 1978, nous mettait en garde contre les sondages qui présupposent que les individus sondés se sont nécessairement déjà posé la question du sondage et qu'ils ont un avis. Dès lors, le sondage ne mesure pas l’opinion préexistante, mais construit une représentation d’une opinion publique, ce qui fait dire à Pierre Bourdieu que dans ce cas "l'opinion publique n'existe pas" en ce qu'elle naît d'une construction suite à un sondage. Cela se voit assez nettement dans la surreprésentation des réponses moyennes du type  "assez d’accord" et "pas tout à fait d’accord".

Tout cela ne serait qu'un artefact de la vie politique, si les candidats et représentants élus ne se servaient des résultats des sondages pour orienter leurs politiques et même parfois leurs discours à chaque livraison d'études... Max Weber, qui distinguait les deux éthiques de l'action politique, l'éthique de conviction basée sur le principe kantien du devoir et l'éthique de responsabilité, prend subitement un coup de vieux !

Je renouvelle donc les conclusions de mes deux précédents billets (ici et là) : la communication politique à outrance, de par sa simplification des problèmes qui confine désormais à la caricature et permet de parler de tout sans rien en connaître, fait glisser notre démocratie - si tant est qu'elle existe encore malgré les apparences - vers une doxocratie comme l'appelle Jacques Julliard, c'est-à-dire un régime politique où l’opinion influence directement les décisions du pouvoir.

Pour finir, si le coeur vous en dit, Envoyé spécial avait consacré une émission à la fabrication des sondages :