The Straight Answer: How to Calculate A/B Test Significance
Pour calculer la significativité d’un test A/B, vous effectuez un test d’hypothèse comparant votre groupe témoin et votre variante. Pour les taux de conversion, utilisez un test z à deux proportions : calculez le taux de conversion combiné, l’erreur standard, le score z, puis la valeur p. Pour les métriques continues comme la valeur moyenne des commandes, utilisez un test t à deux échantillons. Si la valeur p obtenue est inférieure à votre alpha choisi (généralement 0,05), la différence est statistiquement significative. C’est le cœur mécanique de comment calculer la significativité d’un test A/B.
Mais les mathématiques sont la partie facile. Lorsque j’ai lancé pour la première fois un test de bouton de paiement en 2018, j’ai observé une amélioration relative de 5 % après deux jours et j’ai préparé une note de lancement. La valeur p était de 0,34 car je n’avais que 300 visiteurs par groupe. La significativité vous protège de considérer le bruit comme un signal.
Dans ce guide, nous irons au-delà du calculateur. Vous verrez des calculs manuels pour les proportions et les moyennes, comprendrez pourquoi une amélioration de 5 % n’est pas automatiquement significative, et obtiendrez une règle basée sur le risque pour choisir alpha. Nous clarifierons également la confusion entre 5 % et 95 % qui inonde les résultats de recherche.
Avant de plonger dans les formules, notez que la méthode de calcul dépend de votre type de données. Les proportions (cliqué ou non) suivent une distribution binomiale approximée par une distribution normale pour les grands échantillons. Les résultats continus (temps sur le site, revenus) suivent une distribution normale ou t. Utiliser le mauvais test est la première erreur que je vois commettre par les analystes juniors.
De plus, la significativité n’est pas la même chose qu’un gagnant. Un test peut être statistiquement significatif mais pratiquement dénué de sens si l’amélioration se situe dans l’erreur de mesure de votre seuil de rentabilité. Nous reviendrons sur cette distinction à plusieurs reprises.
Certaines équipes préfèrent les méthodes bayésiennes, calculant la probabilité que la variante batte le témoin (par exemple, 96 % de probabilité d’amélioration). C’est valable mais répond à une question différente. Cet article se concentre sur le calcul fréquentiste car il reste le défaut dans la plupart des plateformes de tests A/B et des contextes réglementaires. Le cadre alpha/confiance se traduit à travers les outils.
Est-ce 5 % ou 95 % de significativité ? Démêler Alpha et Confiance
La question « Est-ce un niveau de significativité de 5 % ou de 95 % ? » révèle une confusion d’étiquetage. Dans les tests fréquentistes, vous définissez un niveau de significativité appelé alpha (α). Si vous choisissez α = 0,05, c’est un niveau de significativité de 5 %. Le complément, 1 − α = 0,95, est le niveau de confiance, souvent énoncé comme une confiance de 95 %.
Ce sont deux façons de décrire le même seuil de côtés opposés. Alpha est la zone de la queue où vous rejetez l’hypothèse nulle même si elle est vraie (risque de faux positif). La confiance est la région centrale où vous ne rejetez pas. Visuellement, imaginez une courbe en cloche : l’intervalle de confiance de 95 % couvre les 95 % centraux, laissant 2,5 % dans chaque queue si bilatéral ; alpha = 0,05 est la surface totale des queues.
La plupart des outils demandent la « confiance » et la convertissent silencieusement en alpha. Si un calculateur indique une confiance de 95 %, il utilise α = 0,05. Il n’y a pas de contradiction.
Ce que personne ne vous dit sur ce couple, c’est qu’augmenter la confiance à 99 % (α = 0,01) ne change pas vos données ; cela rend simplement le seuil de significativité plus élevé. Vous échangez des faux positifs contre des faux négatifs.
Une autre nuance : certains outils rapportent le « niveau de confiance » comme la probabilité que la variante soit meilleure que le témoin. C’est un a posteriori bayésien, pas l’intervalle de confiance fréquentiste. L’intervalle de confiance fréquentiste de 95 % signifie que si vous répétiez l’expérience à l’infini, 95 % de ces intervalles contiendraient la véritable différence. Cela ne dit pas « il y a 95 % de chances que cet intervalle spécifique soit correct ». Ce point subtil piège même les data scientists.
Lorsqu’une partie prenante demande « Est-ce une significativité de 5 % ou de 95 % ? », je réponds : « Nous avons défini alpha à 5 %, ce qui correspond à une confiance de 95 %. Ce sont la même règle de décision. » La clarté ici évite des seuils mal définis par la suite.
Quand utiliser 0,01 vs 0,05 comme niveau de significativité : une matrice basée sur le risque
La question PAA « Quand utiliser les niveaux de significativité de 0,01 et 0,05 ? » mérite une réponse basée sur le risque commercial, pas un défaut de manuel. Au fil de mes années à mener des expériences de croissance, j’ai utilisé les deux, et le choix doit correspondre au coût d’une erreur.
Si un faux positif signifie déployer un changement de prix qui pourrait éroder la marge sur des millions de revenus, je définis α = 0,01. Si le changement est une couleur de bouton ou un micro-texte peu coûteux à annuler, α = 0,05 est acceptable et maintient la vélocité.
Matrice de sélection d’alpha basée sur le risque
| Risque de décision en cas d’erreur | Alpha recommandé | Exemple de scénario |
|---|---|---|
| Faible (modification d’interface réversible) | 0,05 (conf. 95 %) | Changement de libellé du CTA |
| Moyen (changement de flux de fonctionnalité) | 0,05 mais test pré-enregistré | Réorganisation des étapes de paiement |
| Élevé (impact sur les revenus ou juridique) | 0,01 (conf. 99 %) | Augmentation du prix de l’abonnement |
| Critique (infrastructure) | 0,001 ou plafond de perte bayésien | Modification de requête de base de données |
Cette matrice est le cadre unique que j’utilise avec les clients. Notez qu’alpha seul ne suffit pas pour les risques élevés ; vous avez également besoin d’une puissance adéquate et souvent d’un contrôle bayésien de la perte attendue.
La puissance est la moitié manquante de l’équation. Si vous resserrez alpha à 0,01, vous avez besoin d’un échantillon plus grand pour maintenir une puissance de 80 %. Dans un test de prix pour un client avec 2 M$ de revenus mensuels, passer de α=0,05 à α=0,01 a nécessité environ 40 % de trafic supplémentaire par groupe. Nous avons accepté des tests plus lents car un faux positif coûterait six chiffres.
Inversement, pour un CTA de blog à faible enjeu, α=0,05 avec une puissance de 80 % nous a permis de déployer en deux semaines. La règle : faites correspondre alpha au risque de se tromper, puis dimensionnez le test en conséquence.
Cas particulier : tests unilatéraux
Si vous vous souciez uniquement de savoir si la variante est meilleure (pas pire), un α=0,05 unilatéral est plus sensible. Mais les régulateurs et les revues rigoureuses interdisent souvent les affirmations unilatérales sauf si elles sont pré-enregistrées. Je n’utilise unilatéral que pour les tests de garde-fou négatifs où le risque de baisse est surveillé séparément.
Considérez également le coût des faux négatifs. Si manquer une véritable amélioration de 3 % vous coûte une croissance massive, vous pourriez accepter α=0,05 et même α=0,10 dans les phases exploratoires. La matrice est un point de départ, pas un dogme.
Calcul manuel pour les proportions (conversions) avec un petit jeu de données
Faisons le calcul que les concurrents montrent rarement. Supposons que le groupe témoin ait eu 1 000 visiteurs avec 50 conversions (5,0 %). La variante a eu 1 000 visiteurs avec 70 conversions (7,0 %). La différence observée est de 2 points de pourcentage, soit une hausse relative de 40 %—mais est-elle significative ?
Étape 1 : Proportion combinée
p combiné = (50 + 70) / (1000 + 1000) = 120/2000 = 0,06. Cela suppose l’hypothèse nulle que les deux groupes partagent un seul taux réel.
Étape 2 : Erreur standard
SE = sqrt( p * (1-p) * (1/n1 + 1/n2) ) = sqrt(0,06 * 0,94 * 0,002) = sqrt(0,0001128) ≈ 0,01062. La formule est détaillée dans la leçon STAT 500 de Penn State sur les tests à deux échantillons.
Étape 3 : Score Z et valeur p
z = (0,07 − 0,05) / 0,01062 ≈ 1,884. Pour un test bilatéral, p ≈ 0,059. Comme p > 0,05, le résultat n’est PAS significatif à α = 0,05, malgré un gain relatif apparemment important de 40 %. La taille de l’échantillon vous a évité une fausse affirmation.
Si vous voulez éviter l’arithmétique, notre calculateur de significativité des tests A/B fait ce calcul instantanément, mais comprendre l’étape de l’erreur standard évite de mal interpréter les sorties d’outils.
Étendons l’exemple à des échantillons inégaux pour montrer la robustesse. Supposons que le témoin ait n1=2 000 avec 100 conversions (5 %), la variante n2=1 000 avec 80 conversions (8 %). p combiné = 180/3000=0,06. SE = sqrt(0,06*0,94*(1/2000+1/1000)) = sqrt(0,0564*0,0015)= sqrt(0,0000846)=0,0092. z=(0,08-0,05)/0,0092=3,26, p≈0,001. Maintenant c’est significatif. Même pourcentage de hausse ? En réalité 60 % relatif contre 40 % plus tôt, mais n2 plus petit avec un z plus grand grâce à des conversions totales plus élevées. Le calcul récompense les nombres absolus de conversions, pas seulement les taux.
Pour les petits échantillons où les comptes attendus < 5, utilisez le test exact de Fisher plutôt que le z. L’approximation z échoue, et j’ai vu des valeurs p décalées de 0,05 dans de tels cas.
Calcul manuel pour les moyennes (revenu par utilisateur) avec un petit échantillon
La conversion n’est pas la seule métrique. Lorsque j’ai analysé un test de prix, le KPI principal était le revenu moyen par utilisateur (ARPU). Pour les moyennes avec des variances inégales, le test t de Welch est la norme des praticiens.
Exemple de jeu de données
Témoin : n=30, moyenne=12,50 $, écart type=4,00 $. Variante : n=30, moyenne=14,20 $, écart type=4,50 $. La différence de 1,70 $ semble prometteuse, mais testons-la.
Étape 1 : Erreur standard de la différence
SE = sqrt( (sd1²/n1) + (sd2²/n2) ) = sqrt( (16/30) + (20,25/30) ) = sqrt(0,5333 + 0,675) = sqrt(1,2083) ≈ 1,099. Notez que nous ne combinons pas les variances pour Welch.
Étape 2 : Statistique t
t = (14,20 − 12,50) / 1,099 ≈ 1,547. Les degrés de liberté via Welch–Satterthwaite sont d’environ 57. Un t de 1,547 donne une p bilatérale ≈ 0,127.
À α = 0,05, p > 0,05, donc nous ne pouvons pas déclarer la significativité. Avec seulement 30 utilisateurs par bras, le bruit domine le signal. C’est pourquoi les petits tests bêta nécessitent de la prudence.
Combiné vs Welch : Quel test t ?
Si les variances sont à peu près égales (ratio des écarts types < 2) et que les groupes ont la même taille, le t combiné de Student est acceptable. Welch est plus sûr par défaut ; il ne suppose pas des variances égales. Dans notre exemple, le ratio des écarts types est de 4,5/4,0=1,125, donc les deux concordent. Mais avec des écarts types de 2 contre 8, le t combiné surestimerait la significativité. Conseil de praticien : utilisez toujours Welch.
De plus, pour n inférieur à 10 par bras, envisagez le test non paramétrique de Mann-Whitney U. Je l’ai utilisé pour un test de couleur de pilule avec seulement 8 pharmacies par bras ; la p du test t était de 0,04 mais celle du test U était de 0,11, changeant la décision.
Une différence de 5 % est-elle significative ? Démystifier le mythe de la hausse
La question « Une différence de 5 % est-elle significative ? » est délicate car elle mélange la taille de l’effet et la significativité statistique. Une différence de 5 % pourrait signifier un saut absolu de 5 % (par exemple, de 10 % à 15 %) ou un saut relatif de 5 % (par exemple, de 2 % à 2,1 %). Ces deux cas sont très différents.
La significativité statistique dépend de trois variables : la taille de l’effet, la taille de l’échantillon et la variance. Une hausse relative de 5 % de 2,0 % à 2,1 % avec 1 000 utilisateurs par bras donne z ≈ 0,74, p ≈ 0,46—pas significatif. La même hausse relative de 5 % de 20 % à 21 % avec 10 000 utilisateurs par bras donne z ≈ 2,45, p ≈ 0,014—significatif à 0,05.
La plupart des gens ne réalisent pas que la « significativité à 5 % » (alpha) et la « hausse de 5 % » (effet) partagent un nombre mais n’ont aucun lien mathématique. Poursuivre un objectif de hausse fixe sans analyse de puissance, c’est ainsi que les équipes gaspillent des trimestres.
Séparez toujours la taille de l’amélioration de la force de la preuve. Une petite hausse peut être hautement significative avec un grand volume ; une énorme hausse peut être du bruit avec un petit volume.
Tableau comparatif travaillé
| Taux de base | « Différence de 5 % » observée | Changement absolu | n par bras | z | p | Significatif à 0,05 ? |
|---|---|---|---|---|---|---|
| 2 % | Relatif 5 % | 0,1 pp (2,0→2,1) | 1 000 | 0,74 | 0,46 | Non |
| 20 % | Relatif 5 % | 1,0 pp (20→21) | 10 000 | 2,45 | 0,014 | Oui |
| 10 % | Absolu 5 pp | 5 pp (10→15) | 500 | 3,65 | 0,0003 | Oui |
Ce tableau est le moyen le plus rapide de tuer l’hypothèse « hausse de 5 % = significatif » lors d’une réunion avec les parties prenantes. Je le garde dans mon modèle de document d’expérience.
Comment interpréter les résultats d’un test A/B comme un praticien
La question « Comment interpréter les résultats d’un test AB ? » va au-delà de p < 0,05. En pratique, je lis trois niveaux : la significativité statistique, l’intervalle de confiance et la significativité pratique.
Niveau 1 : La valeur p
La valeur p est la probabilité de voir un écart aussi grand que celui observé (ou plus grand) si l’hypothèse nulle était vraie. Une p de 0,03 signifie une chance de 3 % de ces données sous l’absence d’effet. Ce n’est pas la probabilité que la variante soit meilleure.
Niveau 2 : Intervalle de confiance
Calculez un IC à 95 % pour la différence. S’il exclut zéro, vous avez la significativité. Mais regardez les bornes : un IC de [0.1%, 4.9%] de hausse est plus exploitable que [0.01%, 12%] même si les deux excluent zéro. La largeur vous indique la précision.
Niveau 3 : Significativité pratique et garde-fous
Vérifiez les métriques secondaires. J’ai un jour lancé une variante d’inscription qui gagnait sur les conversions mais faisait chuter la rétention à 7 jours de 3 % ; la valeur p sur la rétention était de 0,02, un préjudice réel. La significativité sur une métrique ne donne pas l’immunité sur les autres.
Une autre couche d’interprétation : l’effet minimum détectable (MDE). Si votre test se termine avec p=0,06 mais que l’IC est [−0.2%, 4.1%], vous manquiez de puissance pour détecter une hausse modeste. C’est un test non concluant, pas un échec. Le rapporter comme « aucun impact » est un péché courant.
Je préviens aussi les équipes sur le « p-hacking »—essayer différentes métriques jusqu’à ce que l’une atteigne 0,05. Le cadre d’interprétation doit être : avons-nous confirmé notre hypothèse pré-enregistrée ? Sinon, traitez tout résultat positif comme exploratoire.
Le piège du chevauchement des intervalles de confiance
Les débutants pensent que si les IC à 95 % des deux groupes se chevauchent, la différence n’est pas significative. Faux. Avec un chevauchement léger (jusqu’à environ 25 % de chaque intervalle), la différence peut encore être significative. Le bon contrôle est de vérifier si l’IC de la différence exclut zéro, ce que notre calcul manuel fournit.
Ce que personne ne vous dit : Où les calculs de significativité échouent
La plupart des tutoriels supposent des données propres et un horizon fixe. En réalité, la significativité A/B est fragile. Jeter un œil aux résultats quotidiennement et s’arrêter quand p < 0,05 gonfle les faux positifs jusqu’à 3 fois, une conséquence bien documentée des tests séquentiels ignorée par les utilisateurs occasionnels.
Les valeurs aberrantes dans les données de revenu sont un autre tueur silencieux. Un client entreprise dépensant 50 000 $ peut faire basculer un test t de non significatif à significatif. C’est pourquoi je tronque ou winsorise avant de calculer les moyennes, ou j’utilise des méthodes bootstrap pour les ARPU asymétriques.
Les comparaisons multiples sont le troisième piège. Si vous testez 10 métriques simultanément avec α = 0,05, la probabilité d’au moins un faux positif est d’environ 40 %. Utilisez la correction de Bonferroni ou le taux de fausses découvertes. Les calculs que nous avons montrés plus tôt supposent une seule métrique pré-spécifiée.
Signal d’expérience : lors d’un test de 2021 sur un entonnoir SaaS, une commande promotionnelle en gros aberrante a rendu le revenu moyen de la variante apparemment significatif (p = 0,04). Après exclusion des commandes de type bot, p est passé à 0,21. Auditez toujours les queues de distribution avant de vous fier au z ou au t.
Écart de répartition de l’échantillon (SRM)
Si votre répartition 50/50 donne 52/48, un test du chi-carré sur l’affectation peut montrer p<0,01, ce qui signifie que la randomisation a échoué. Toute significativité sur la métrique est alors suspecte. Je lance toujours un contrôle SRM avant de calculer la p-value principale ; cela prend 10 secondes et m’a permis d’éliminer deux tests défaillants.
Correction pour tests séquentiels
Si vous devez jeter un œil en cours de route, utilisez des fonctions de dépense alpha (O’Brien–Fleming). Ignorer cela, comme le font la plupart des « calculateurs rapides », donne une fausse impression de certitude. Ce que personne ne vous dit sur la significativité A/B, c’est que la formule standard suppose une seule observation des données.
Utiliser un calculateur sans perdre la compréhension
Les outils répondent au besoin mécanique. Notre Calculateur de significativité de test A/B vous permet de saisir des comptages ou des moyennes et renvoie la p-value, le z/t et les intervalles de confiance. Je recommande de l’utiliser après avoir fait un calcul manuel à la main.
Le risque d’un calculateur en boîte noire est de saisir le mauvais ordre des variantes ou d’interpréter un résultat unilatéral comme bilatéral. Définissez toujours le type de test consciemment. Si votre hypothèse est « la variante est différente » (pas spécifiquement supérieure), utilisez un test bilatéral, qui est la valeur par défaut dans les analyses rigoureuses.
Quelles entrées l’outil nécessite
- Pour les proportions : visiteurs et conversions (ou taux) pour chaque bras.
- Pour les moyennes : taille d’échantillon, moyenne et écart type par bras.
- Votre alpha choisi et la nature unilatérale ou bilatérale du test.
Bien saisir ces éléments fait le pont entre le calcul manuel et le résultat automatisé. Je vérifie encore à la main la première ligne de tout nouveau calculateur avec l’exemple du z ci-dessus.
Liste de contrôle finale du praticien pour calculer la significativité
- Définissez alpha et la puissance avant le lancement ; documentez si α = 0,05 ou 0,01 selon la matrice de risque.
- Choisissez le bon test : test z pour les proportions, test t de Welch pour les moyennes, chi-carré pour les catégories multiples.
- Vérifiez les hypothèses : échantillons indépendants, distribution d’échantillonnage approximativement normale (n>30 ou comptage regroupé>5).
- Calculez l’erreur type regroupée pour les proportions ou non regroupée pour Welch ; dérivez z ou t ; obtenez la p-value bilatérale.
- Rapportez l’intervalle de confiance, pas seulement la p-value, et vérifiez les métriques de garde-fou.
- Si vous avez jeté un œil en cours de route, appliquez une correction séquentielle (par exemple, dépense alpha) avant de déclarer des gagnants.
- Effectuez le contrôle SRM ; excluez les valeurs aberrantes ou utilisez des méthodes robustes pour les revenus.
Ce processus a évité à mon équipe plusieurs lancements erronés. La significativité est un outil, pas un verdict. Maîtrisez le calcul, respectez ses limites, et vous prendrez de meilleures décisions produit que 90 % des équipes qui s’appuient sur une seule p-value.