Test A/B

Un test A/B est une expérience dans laquelle les visiteurs d'un site sont répartis au hasard en deux groupes : l'un voit la version actuelle d'une page (A, la version de contrôle), l'autre une version modifiée (B, la variante), et une métrique choisie à l'avance indique quelle version donne les meilleurs résultats.

En termes simples

Plutôt que de débattre de « ce qui est mieux, ceci ou cela », vous montrez les deux options à de vrais acheteurs en même temps et vous regardez laquelle génère le plus de commandes. Les groupes sont constitués au hasard et évoluent dans les mêmes conditions (même jour, mêmes publicités, mêmes prix) : la différence entre eux vient donc de la modification elle-même, pas de la saison ni d'une promotion.

Optimizely décrit le test A/B comme un moyen de comparer deux versions d'une page ou d'une application : le trafic est réparti au hasard entre la version de contrôle et la variante, et une analyse statistique montre quelle version atteint le mieux l'objectif (Optimizely). NN/g ajoute que, idéalement, la variante ne diffère que par un seul élément de design (NN/g, A/B Testing 101). La méthode elle-même, rappelle la HBR, a presque cent ans et précède de loin les sites web (HBR, 2017).

Le test A/B est l'outil principal pour vérifier des hypothèses en CRO.

La significativité statistique en termes simples

Même deux pages identiques afficheront sur une semaine une conversion différente : 2,1 % et 2,3 %. C'est le hasard. La significativité statistique répond à la question : quelle est la probabilité que la différence observée ne soit pas due au hasard ?

Optimizely l'explique par la valeur p : la probabilité d'observer un résultat identique ou plus marqué s'il n'y a en réalité aucune différence entre les versions. Plus la valeur p est faible, moins il est probable que l'écart soit dû au hasard (Optimizely). Le seuil de significativité le plus courant est de 95 % ; NN/g le qualifie d'usuel (NN/g).

Une réserve : « significatif » ne veut pas dire « important pour l'activité ». NN/g rappelle qu'un résultat significatif peut être un faux positif, une erreur de mesure, ou tout simplement trop faible pour compter en pratique.

Taille de l'échantillon

Le nombre de visiteurs nécessaire se décide avant le début du test. NN/g cite trois paramètres (NN/g) :

1. La conversion de référence : la conversion actuelle de la version de contrôle.
2. L'effet minimal détectable (MDE) : le plus petit effet que vous voulez repérer, par exemple une hausse de 10 % par rapport au niveau actuel.
3. Le seuil de significativité : en général 95 %.

Plus la conversion de référence est basse et plus l'effet à détecter est petit, plus il faut de monde. Un exemple de VWO : une page avec 5 % de conversion, un MDE de 15 % et trois versions (contrôle plus deux variantes) exige 40 533 visiteurs par version avec l'approche classique (fréquentiste) et 14 674 avec l'approche bayésienne (Wingify/VWO).

Evan Miller donne une règle pratique pour une estimation rapide : n = 16σ²/δ², où σ² = p(1 − p) pour une conversion p, et δ est l'effet minimal en valeur absolue (Evan Miller).

Exemple illustratif. Une boutique avec 2 % de conversion (p = 0,02) veut détecter une hausse à 2,4 % (δ = 0,004). σ² = 0,02 × 0,98 = 0,0196. n = 16 × 0,0196 / 0,000016 ≈ 19 600 visiteurs par version, soit environ 39 000 pour l'ensemble du test.

Durée

Optimizely recommande de mener un test pendant au moins un cycle d'activité (7 jours) et de calculer la durée ainsi : taille de l'échantillon × nombre de versions / nombre moyen de visiteurs par jour (Optimizely). NN/g recommande au moins une à deux semaines même avec beaucoup de trafic, car le comportement des gens varie selon le jour de la semaine.

Dans l'exemple ci-dessus, avec 3 000 visiteurs par jour : 39 000 / 3 000 ≈ 13 jours, soit deux semaines complètes.

VWO met en garde à la fois contre les tests trop longs et contre la comparaison de périodes aux conditions extérieures différentes, comme les soldes et les fêtes (Wingify/VWO). Cela peut être, par exemple, le Black Friday ou une perturbation chez le transporteur.

Erreurs fréquentes

• Arrêter trop tôt. Une variante est en tête les premiers jours et le test est coupé. VWO dit clairement que ce n'est pas une raison d'arrêter (Wingify/VWO) ; NN/g cite l'arrêt fondé sur un suivi en temps réel comme une erreur courante.
• Jeter un œil aux résultats en cours de route. La statistique classique exige de fixer la taille de l'échantillon et de ne pas regarder le résultat avant la fin. Dans son article de 2010, Evan Miller a montré par simulation que, si l'on vérifie le résultat après chaque observation et que l'on s'arrête à la première « significativité », une fausse victoire survient dans 26,1 % des cas au lieu des 5 % annoncés (c'est le pire cas mais, selon l'auteur, pas un cas rare ; Evan Miller). C'est de la mathématique, pas une donnée sur le comportement des acheteurs : elle n'a donc pas vieilli. Si vous devez consulter des résultats intermédiaires, utilisez des méthodes séquentielles ou bayésiennes ; certains outils (par exemple Stats Engine chez Optimizely) sont conçus précisément pour un suivi continu.
• Modifier les réglages en cours de test : objectifs, design, répartition du trafic (Wingify/VWO).
• Trop de segments. Optimizely avertit que de petits segments donnent des résultats peu fiables et des conclusions faussement positives (Optimizely).
• Beaucoup de changements à la fois. On ne sait plus ce qui a vraiment fonctionné, et un test multivarié demande encore plus de trafic.
• Erreurs de SEO technique. Optimizely conseille d'utiliser une redirection 302 plutôt que 301 pour les URL de test et de définir rel="canonical".

Ce qui a changé : l'IA et la qualité de la mise en place

Dans le rapport 2026 d'Optimizely portant sur 173 000 expériences « réelles » (2018–2026, plus de 1 200 entreprises), le meilleur indicateur de réussite est la qualité de la mise en place du test : les expériences correctement configurées ont gagné dans 58 % des cas, les plus faibles dans 35 %. Une expérience « réelle » désigne ici un test en cours avec un contrôle et au moins une variante, chacun avec au moins 1 000 visiteurs (Optimizely, 2026). Ce sont des données de l'éditeur de l'outil, pas une étude indépendante.

Dans le même rapport, les clients qui utilisent les fonctions d'IA d'Optimizely ont mené environ deux fois plus d'expériences que ceux qui ne les utilisent pas ; les auteurs disent eux-mêmes qu'il s'agit d'une observation et non d'un lien de causalité prouvé. À retenir en pratique, sans chiffres : l'IA aide à produire plus vite des hypothèses et des variantes, mais la taille de l'échantillon, la durée et les règles d'arrêt restent les mêmes.

Quand un test A/B n'est pas nécessaire

• Trafic faible. Si le calcul indique que le test durera plusieurs mois, il perd son intérêt. NN/g cite les pages à faible trafic comme un cas où le test A/B ne convient pas.
• Vous avez besoin de comprendre le « pourquoi ». Un test A/B montre ce qui a changé mais n'en explique pas les raisons ; il faut pour cela une recherche qualitative (NN/g).
• Un bug évident. Le paiement ne fonctionne pas, ou le formulaire n'accepte pas certains numéros de téléphone : on corrige, on ne teste pas.

Dans ces cas, les tests d'utilisabilité, les enregistrements de sessions, les micro-conversions (plus nombreuses que les commandes) et la comparaison de périodes sont utiles.

FAQ

Qu'est-ce qu'un test A/B ? Une expérience dans laquelle la moitié des visiteurs voit l'ancienne version d'une page et l'autre moitié la nouvelle, et les données montrent laquelle est la meilleure.

Combien de temps doit durer un test A/B ? Le temps nécessaire pour réunir l'échantillon calculé à l'avance, et pas moins d'une semaine complète (de préférence deux).

De combien de trafic a-t-on besoin pour tester un site en A/B ? Cela dépend de la conversion et de l'effet attendu. Il faut généralement des milliers ou des dizaines de milliers de visiteurs par version ; un calculateur de taille d'échantillon donne le chiffre exact.

Peut-on arrêter le test si un gagnant est déjà visible ? Avec l'approche classique, non : cela augmente le risque de conclusion erronée. Attendez l'échantillon prévu.

Termes associés

• CRO (optimisation du taux de conversion)
• Taux de conversion
• Micro-conversion

Sources

• Optimizely. A/B testing (Optimization Glossary) — optimizely.com/optimization-glossary/ab-testing
• Optimizely. Statistical significance (Optimization Glossary) — optimizely.com/optimization-glossary/statistical-significance
• Optimizely. Lessons learned from 173K experiments, 2026 — optimizely.com/field-notes/guides/173000-experiments
• Tim Neusesser. A/B Testing 101. Nielsen Norman Group, 30.08.2024 — nngroup.com/articles/ab-testing
• Amy Gallo. A Refresher on A/B Testing. Harvard Business Review, 2017 — hbr.org/2017/06/a-refresher-on-ab-testing
• Evan Miller. How Not To Run an A/B Test, 2010 (simulation, mathematical fact) — evanmiller.org/how-not-to-run-an-ab-test.html
• Wingify (VWO). A/B Testing guide — wingify.com/ab-testing
• Wingify (VWO). Sample size (glossary), updated 24.02.2025 — wingify.com/glossary/sample-size