La joie d’avoir réussi un test A/B peut vite retomber dans les jours qui suivent, lorsque le chiffre d’affaires ne progresse pas comme prévu. Si les commerçants ont tendance à rejeter la faute sur l’outil de test, voici cependant 2 erreurs statistiques fréquentes qui peuvent fausser les résultats.
L’importance de la “confiance statistique”
Il n’est pas rare de voir des personnes mettant un terme arbitraire à un test A/B parce qu’ils le jugent trop long et donc suffisant.
Après, ils s’étonnent que les changements effectués n’apportent aucune amélioration à leur business !
Sachez que si vous stoppez votre test avant d’avoir atteint un niveau de confiance statistique d’au moins 95%, les données ne sont pas fiables. Le niveau de confiance de 95% signifie qu’il y a 5% de probabilités que vos résultats prouvent le contraire. Les outils de test A/B actuels prennent en compte cette valeur sans que vous ayez à la calculer.
L’importance de la taille de l’échantillon
Votre test indique une nette amélioration avec une confiance de 99%. Après avoir effectué les changements, vous désespérez de ne pas retrouver les mêmes résultats dans votre chiffre d’affaires. Là, vous êtes sûr qu’il y a quelque chose qui ne va pas avec cet outil.
Faux ! Une autre erreur statistique fréquente dans le cadre d’un test A/B se situe au niveau de la taille de l’échantillon.
Pour donner du crédit au test, il faut que le panel soit significatif. C’est assez élémentaire en statistique. Vous ne pouvez tirer de conclusion pour la totalité des utilisateurs si vous n’en considérez qu’une infime partie.
Il existe des outils sur Internet pour calculer facilement le nombre de visiteurs dont vous avez besoin pour obtenir des résultats concluants.
D’ailleurs pour tous vos tests A/B, s’il y a bien un outil que je peux vous conseiller d’utiliser c’est : unbounce.com
source d’inspiration : Unbounce.com (?)
Laisser un commentaire