Un bon test vaut mieux que cinq tests bancals
Combien de tests A/B faut-il pour un résultat fiable ? Il n'existe pas de nombre magique. Un seul test correctement dimensionné vous donne déjà une décision défendable. Cinq tests à 200 visiteurs chacun vous donnent surtout cinq occasions de vous raconter une histoire.
Si vous doutez de vos résultats, je parie que le problème vient de là. La fiabilité dépend de quatre réglages, à décider avant le lancement : votre taux de conversion de départ, l'écart que vous voulez pouvoir détecter, le seuil de confiance (souvent 95 %) et la puissance statistique (souvent 80 %, c'est votre chance de repérer un effet réel s'il existe).
Ce qui surprend le plus, c'est la vitesse à laquelle la facture grimpe. Diviser par deux l'écart recherché revient à multiplier par quatre, à peu près, le nombre de visiteurs nécessaires.
Combien de visiteurs par variante : le tableau à garder sous la main
Voici les ordres de grandeur pour un test à deux variantes, avec un seuil de 95 % et une puissance de 80 %. Les chiffres sont arrondis et valent par variante : doublez-les pour obtenir le trafic total du test.
| Taux de conversion actuel | Pour détecter +20 % | Pour détecter +50 % |
|---|---|---|
| 2 % | environ 21 000 | environ 3 800 |
| 3 % | environ 14 000 | environ 2 500 |
| 5 % | environ 8 200 | environ 1 500 |
| 10 % | environ 3 800 | environ 700 |
Attention, on parle de hausse relative : +20 %, c'est passer de 3 % à 3,6 %, pas de 3 % à 23 %.
Pour vos propres chiffres, le calculateur de taille d'échantillon d'Evan Miller est gratuit et se prend en main en une minute. Entrez-y votre taux mesuré. Le taux de conversion moyen d'un site e-commerce peut vous aider à vous situer, mais il n'a pas sa place dans ce calcul.
Le tableau se lit aussi en conversions. Pour détecter +20 %, on arrive autour de 400 conversions par variante, quel que soit le taux de départ. Pour +50 %, autour de 70 d'un côté et 110 de l'autre. Du coup, méfiance : 30 ventes contre 42, ça a l'air net (40 % de mieux), et pourtant cet écart reste à portée du hasard.
Le calcul sur un site à 3 000 visites par mois
Prenons un exemple théorique : une page qui reçoit 3 000 visites par mois et convertit à 3 %. Chaque variante récupère donc 1 500 visites mensuelles.
Pour détecter une hausse de 20 %, il vous faudrait plus de neuf mois. Autant dire jamais. Pour une hausse de 50 %, comptez un peu moins de deux mois, et là, ça devient jouable.
Un petit trafic ne vous interdit pas de tester, il vous interdit de tester des détails. La couleur d'un bouton a très peu de chances de produire un écart mesurable à ce volume. Une nouvelle promesse ou une offre revue, oui.
Pourquoi vos résultats vous semblent louches
Un gagnant qui bascule d'une semaine à l'autre, ou qui ne change rien au chiffre d'affaires une fois déployé : ce doute est sain. Voici ce que je regarde en premier.
- Vous avez regardé trop tôt. Arrêter dès que l'outil affiche « significatif » fausse la lecture. Evan Miller le montre dans son article sur les tests A/B : si vous regardez dix fois en cours de route, un seuil affiché de 1 % correspond en réalité à environ 5 %. Fixez la taille d'échantillon à l'avance et tenez-vous-y.
- Vous avez comparé trop de choses. À 95 %, environ une comparaison sans aucun effet réel sur vingt sort gagnante par hasard. Sur cinq variantes ou cinq segments, le risque d'au moins un faux positif monte autour de 23 %.
- Le test a été trop court. Le mardi n'achète pas comme le samedi. Couvrez des semaines complètes, deux au minimum, même si le volume est atteint avant.
- Le gain est gonflé. À faible volume, seuls les gros écarts franchissent le seuil, y compris ceux qui doivent beaucoup à la chance. Le +40 % affiché a donc de bonnes raisons de redescendre une fois en production.
- La mesure est faussée. Un test prévu en 50/50 qui affiche des groupes nettement déséquilibrés, c'est souvent un bug de suivi. Une campagne lancée en plein test peut aussi tout brouiller.
Alors, quand faut-il refaire un test ?
Pour un titre ou un visuel de bannière, un seul test bien dimensionné suffit. Si vous vous trompez, ça coûte peu et ça se corrige en cinq minutes.
Pour une décision lourde (refonte de page, changement de prix, nouvelle offre), je relance le test avant de généraliser. Le raisonnement est simple : à un seuil de 95 %, si la variante n'apporte rien, elle a environ 2,5 % de chances d'afficher un gain significatif par hasard. Deux fois de suite, on tombe sous une chance sur mille.
Quant au test qui ne donne rien de net, ce n'est pas un test raté, et ça ne prouve pas non plus que les deux versions se valent. Il vous dit que l'effet, s'il existe, est probablement plus petit que celui que vous cherchiez à détecter.
Petit trafic : ce que je ferais à votre place
- Partir de la page qui a le plus de volume, avec un seul test à la fois sur un même parcours. Pour trancher entre vos idées, la méthode ICE pour prioriser vos expérimentations growth évite de griller deux mois sur une idée secondaire.
- Tester gros : promesse, structure, offre. Reprenez ce qui permet à une landing page de convertir et opposez deux versions vraiment différentes.
- Viser un indicateur plus fréquent. Un clic sur le bouton ou un début de formulaire arrive plus souvent qu'une vente, donc le test conclut plus vite. La limite : plus de clics ne garantit pas plus de ventes, alors gardez un œil sur la suite du parcours.
- Regrouper les pages de même gabarit. Le même changement sur toutes vos fiches produit cumule le volume.
- Baisser le seuil quand l'erreur coûte peu. Passer de 95 % à 90 % réduit le volume nécessaire d'environ un cinquième, mais double le risque de faux positif. Décidez-le avant le test, pas après avoir vu les résultats.
Et si le calcul annonce plus de deux mois, je ne lance pas : saison, campagnes et cookies effacés ont le temps de brouiller la mesure. Mieux vaut interroger des clients, regarder des sessions enregistrées ou faire tester la page à quelques personnes. C'est moins « scientifique », mais souvent plus instructif à ce niveau de trafic.
