Comment mettre en place un test A/B sur son site

La plupart des tests A/B que je vois passer dans les comptes que j’audite ne servent à rien. Pas parce que l’idée testée était mauvaise, mais parce que le test lui-même n’était pas construit pour produire une réponse fiable : échantillon trop petit, durée décidée au doigt mouillé, résultat regardé et interprété trois jours après le lancement parce que la courbe “avait l’air” favorable. Un test A/B, ce n’est pas “je change un bouton et je regarde ce qui se passe”. C’est une méthode statistique, avec des règles précises, et si on les ignore on prend des décisions sur du bruit plutôt que sur un vrai signal.

Dans ce guide, je détaille la mécanique complète : comment formuler une hypothèse testable, calculer la taille d’échantillon avant de lancer quoi que ce soit, fixer une durée qui ne soit pas un chiffre arbitraire, éviter le biais du “peeking” (regarder les résultats trop tôt) et choisir des outils réellement disponibles en 2026 — parce que Google Optimize a fermé en septembre 2023 et que je vois encore des articles le recommander.

En bref

• Un test A/B compare deux versions d’une page pour mesurer laquelle convertit le mieux, avec un niveau de confiance statistique (généralement 95 %).
• Avant de lancer un test, on calcule la taille d’échantillon nécessaire à partir du taux de conversion actuel et de l’effet minimal qu’on veut détecter.
• La durée du test doit couvrir au moins un cycle complet de comportement d’achat (souvent 1 à 2 semaines), jamais un nombre de jours choisi arbitrairement.
• Regarder les résultats avant la fin prévue et arrêter le test dès qu’une variante semble gagner (le “peeking”) fausse la décision dans une proportion significative des cas.
• Google Optimize est fermé depuis 2023 : en 2026, les alternatives gratuites sérieuses sont Mida, GrowthBook ou ABlyft.

Qu’est-ce qu’un test A/B, concrètement

Un test A/B consiste à montrer deux versions d’une même page (ou d’un même élément) à deux groupes de visiteurs comparables, en même temps, puis à mesurer laquelle génère le meilleur taux de conversion. La version A est généralement la version actuelle (“contrôle”), la version B intègre une modification unique. Si vous testez plusieurs éléments à la fois sur plusieurs variantes, on parle de test A/B/n ou de test multivarié (multivariate testing, MVT) : la différence tient au nombre de variables changées simultanément et à la manière dont on isole leur effet respectif. Le test A/B/n reste simple à interpréter (une variable à la fois, plusieurs versions) ; le test multivarié permet de croiser plusieurs éléments (titre + image + CTA) mais demande un trafic nettement plus élevé pour rester fiable, car chaque combinaison dilue l’échantillon disponible.

Pour une boutique en ligne avec quelques milliers de visiteurs par mois, un test A/B/n classique sur une seule variable est presque toujours le bon choix. Le multivarié devient pertinent à partir d’un trafic conséquent (typiquement plusieurs dizaines de milliers de sessions mensuelles sur la page testée), sinon le test ne conclura jamais dans un délai raisonnable.

Étape 1 : définir un objectif et formuler une hypothèse testable

Avant de toucher au design, il faut répondre à trois questions : à quel endroit du parcours les visiteurs décrochent, pourquoi (quelle friction ou quel manque de réassurance), et quelle modification pourrait lever ce frein. Si vous n’avez pas encore cette lecture du problème, commencez par regarder vos données d’analytics plutôt que par une bibliothèque d’idées de tests trouvée en ligne — un test A/B qui ne répond à aucun problème identifié dans votre tunnel a peu de chances de produire un gain exploitable.

Une hypothèse correcte prend la forme : “Si je modifie [élément], parce que [donnée ou observation qui justifie le changement], alors [métrique] devrait évoluer de [direction attendue].” Par exemple : “Si je déplace les avis clients au-dessus du bouton d’ajout au panier, parce que le taux de sortie sur la fiche produit est élevé avant même le scroll, alors le taux d’ajout au panier devrait augmenter.” Cette formulation oblige à choisir une métrique de succès unique et mesurable avant le lancement — pas trois métriques secondaires qu’on ira pêcher après coup pour justifier le résultat.

Pour prioriser vos idées de tests, croisez-les avec votre taux de conversion actuel : l’article calcul du taux de conversion et comment l’interpréter détaille la formule et les pièges de lecture les plus courants, utile pour établir votre point de départ avant de tester quoi que ce soit.

Étape 2 : calculer la taille d’échantillon avant de lancer le test

C’est l’étape que la quasi-totalité des guides généralistes sautent, et c’est pourtant la plus déterminante. Sans taille d’échantillon calculée en amont, vous ne savez pas combien de visiteurs il vous faut ni combien de temps le test devra tourner — vous découvrez juste, a posteriori, si vous en avez eu “assez”, ce qui n’a aucun sens statistiquement.

Le calcul dépend de trois éléments :

• Le taux de conversion actuel (baseline) — par exemple 3 % sur la page testée.
• L’effet minimal détectable (MDE, minimum detectable effect) — l’amplitude de gain que vous voulez pouvoir repérer, en général exprimée en relatif (par exemple détecter une hausse relative de 15 à 20 %).
• Le niveau de confiance visé — le standard du secteur est 95 % de confiance (soit un seuil de significativité, ou “p-value”, inférieur à 0,05) avec une puissance statistique de 80 %.

Plus l’effet que vous cherchez à détecter est petit, plus il faut de visiteurs — la relation n’est pas linéaire, elle croît vite. À titre d’ordre de grandeur, avec un taux de conversion de départ autour de 3 % et l’objectif de détecter une hausse relative de 20 %, les calculateurs de taille d’échantillon standards (basés sur un test de proportions à deux échantillons) donnent typiquement un besoin de l’ordre de 10 000 à 20 000 visiteurs par variante. Si votre trafic ne permet pas d’atteindre ce volume dans un délai raisonnable, deux options : cibler un effet plus important (une refonte plus ambitieuse plutôt qu’un micro-changement de couleur de bouton) ou concentrer le test sur une page à plus fort trafic plutôt que sur une page profonde du site.

Sur la question de la significativité statistique : elle se calcule via un test statistique (test du Khi², ou test Z pour deux proportions) qui compare l’écart observé entre A et B à ce qu’on attendrait par pur hasard. La plupart des plateformes de test A/B affichent ce calcul automatiquement sous forme de pourcentage de confiance ou de p-value — inutile de le faire à la main, mais il faut comprendre ce que le chiffre représente : une confiance de 95 % signifie qu’il y a 5 % de risque de conclure à tort qu’une variante gagne alors que la différence observée est due au hasard.

Étape 3 : choisir la durée du test — pas un chiffre au hasard

Combien de temps doit durer un test A/B pour être fiable ? La réponse correcte n’est pas “deux semaines” par défaut, mais : jusqu’à atteindre la taille d’échantillon calculée à l’étape précédente, en couvrant au minimum un cycle complet de comportement d’achat. Concrètement, cela veut dire au moins un cycle hebdomadaire complet (les habitudes d’achat diffèrent entre un lundi et un dimanche, en B2B comme en e-commerce), et idéalement deux à quatre semaines pour lisser les variations ponctuelles — un pic de trafic lié à une campagne publicitaire un jour donné peut sinon fausser toute la lecture.

Deux erreurs fréquentes à ce stade : arrêter le test dès qu’il atteint la significativité statistique en cours de route (voir le point suivant sur le peeking), et le laisser tourner trop longtemps au point que des facteurs externes viennent polluer la mesure — un changement de saison, une promotion concurrente, une mise à jour de votre propre site sur une autre page qui redirige du trafic. Un test A/B mesure un effet dans un contexte donné ; plus ce contexte change en cours de test, plus l’interprétation devient fragile.

L’erreur du peeking : regarder trop tôt fausse la décision

Le “peeking” consiste à consulter les résultats en cours de test et à arrêter dès qu’une variante semble significativement en tête — avant d’avoir atteint la taille d’échantillon prévue. Le problème est purement statistique : plus vous regardez de fois pendant que le test tourne, plus vous augmentez la probabilité de tomber, à un moment donné, sur un écart qui paraît significatif alors qu’il ne l’est pas réellement (un faux positif). Des acteurs spécialisés de l’A/B testing comme AB Tasty évoquent un test biaisé par le peeking dans une proportion significative des cas — l’ordre de grandeur cité tourne autour d’un test sur quatre lorsque les résultats sont consultés et arbitrés de façon répétée avant la fin planifiée.

La parade est simple à énoncer, plus difficile à appliquer en pratique : fixez la taille d’échantillon et la durée avant de lancer, et ne prenez de décision qu’une fois ce seuil atteint. Vous pouvez suivre l’évolution du test en cours de route pour vérifier qu’il n’y a pas de bug technique (tracking cassé, variante qui ne s’affiche pas correctement sur mobile), mais la tentation de couper le test dès que la courbe penche dans le bon sens est justement le piège à éviter. Certains outils proposent des méthodes de “tests séquentiels” qui autorisent une lecture continue sans biaiser le résultat — c’est un critère à vérifier si votre équipe a l’habitude de regarder les dashboards tous les jours.

Étape 4 : les outils pour faire un test A/B en 2026

Google Optimize, longtemps recommandé par défaut, a fermé en septembre 2023 — s’il apparaît encore dans un guide, c’est un signe que le contenu n’a pas été mis à jour depuis. Voici un état des lieux réaliste des solutions disponibles aujourd’hui, gratuites et payantes.

Outil Type Pour qui Limite principale

Mida Gratuit / open source Sites avec trafic modéré, équipes techniques Installation plus technique, moins de reporting visuel

GrowthBook Gratuit (plan open source) / payant à l’échelle Équipes produit et développeurs, feature flags inclus Courbe d’apprentissage plus élevée qu’un outil no-code

ABlyft Gratuit jusqu’à un certain volume PME, premiers tests sans budget dédié Fonctionnalités avancées limitées sur le plan gratuit

AB Tasty Payant E-commerce et sites à fort trafic, besoin de personnalisation avancée Coût significatif, surdimensionné pour un petit site

VWO Payant Équipes CRO structurées, tests multiples en parallèle Tarification qui grimpe vite avec le trafic

Convert Payant Sites sensibles à la confidentialité des données (RGPD strict) Interface moins intuitive que certains concurrents

Pour un premier test, sur un site avec un trafic limité, je recommande de partir sur une solution gratuite plutôt que de s’engager sur un abonnement payant avant même d’avoir validé que la méthodologie interne est solide. L’outil ne compense jamais un mauvais calcul de taille d’échantillon ou une durée de test mal fixée — c’est la rigueur en amont qui détermine la fiabilité du résultat, pas le logiciel utilisé.

Étape 5 : analyser et interpréter les résultats correctement

Une fois la taille d’échantillon atteinte et la durée planifiée écoulée, l’analyse se fait en trois temps. D’abord, vérifier la significativité statistique du résultat sur la métrique principale définie dès le départ — pas sur une métrique secondaire qui donnerait un résultat plus flatteur. Ensuite, regarder l’intervalle de confiance de l’amélioration observée : une variante peut être “gagnante” avec un intervalle de +2 % à +25 %, ce qui reste une victoire large mais incertaine sur son ampleur réelle. Enfin, croiser le résultat avec les segments (mobile vs desktop, nouveaux visiteurs vs récurrents, sources de trafic) : une variante peut gagner globalement tout en étant neutre ou négative sur un segment important, ce qui change la décision de déploiement.

Si le test ne montre aucune différence significative, ce n’est pas un échec : c’est une information. Cela signifie que l’élément testé n’était probablement pas le vrai frein à la conversion, et qu’il faut retourner à l’analyse du parcours pour identifier une friction plus déterminante. Pour structurer cette recherche de friction de façon méthodique plutôt qu’à l’intuition, la démarche décrite dans comment optimiser son taux de conversion, la méthode étape par étape permet de prioriser les prochains tests sur la base de données plutôt que d’hypothèses isolées.

Un résultat de test A/B ne se compare pas non plus dans l’absolu : un gain de conversion doit être remis en perspective avec les repères de votre secteur, disponibles dans qu’est-ce qu’un bon taux de conversion, les repères par secteur — un site e-commerce généraliste et une landing page B2B à forte valeur n’ont pas les mêmes ordres de grandeur de référence.

Erreurs fréquentes à éviter

• Tester trop d’éléments à la fois sans passer en multivarié assumé : impossible ensuite de savoir quel changement a produit l’effet.
• Arrêter le test dès qu’il “a l’air” gagnant — c’est le peeking décrit plus haut, la source de biais la plus sous-estimée.
• Lancer un test sans trafic suffisant pour espérer une conclusion en temps raisonnable : mieux vaut tester sur une page à fort trafic ou revoir l’ambition du changement.
• Ignorer la segmentation : un résultat agrégé peut masquer un effet négatif sur mobile compensé par un effet positif sur desktop.
• Généraliser un résultat isolé : un test gagnant sur une fiche produit ne garantit pas le même effet sur toutes les fiches du catalogue, surtout si les produits ou les intentions d’achat diffèrent.

En résumé

Mettre en place un test A/B fiable tient en cinq disciplines : une hypothèse construite sur une vraie observation du parcours, une taille d’échantillon calculée avant le lancement, une durée fixée à l’avance et respectée jusqu’au bout, l’absence de décision anticipée sur des résultats partiels, et une lecture des résultats qui distingue significativité statistique et ampleur réelle de l’effet. Le choix de l’outil vient après, pas avant. Si vous démarrez tout juste une démarche de test A/B, prenez le temps de mesurer d’abord précisément où vous en êtes : l’article taux de conversion d’un site web, comment le mesurer et l’améliorer pose les bases de mesure sur lesquelles appuyer vos premières hypothèses de test.