Cours tests A/B et expérimentation en Python
Tests A/B et expérimentation est un cours de niveau intermédiaire de 5 leçons (environ 2 h 44), avec 15 exercices et 15 questions de quiz. Prérequis : Probabilités et statistiques inférentielles, Analyse de données avec pandas et NumPy. Les exercices s'exécutent dans le navigateur, sans installation.
- Statistiques
- Intermédiaire
- 5 leçons
- 2 h 44
- 15 exercices
- Exercices exécutés dans le navigateur
Le cours en bref
Ce cours t'apprend à mener une expérience A/B de bout en bout. Tu rédigeras un plan d'expérience, calculeras la taille d'échantillon et la durée, analyseras des métriques de conversion et de revenu avec des tests adaptés et le bootstrap, puis apprendras à éviter les pièges qui invalident tant de tests : déséquilibre de répartition, peeking et comparaisons multiples.
Ce que tu sauras faire
- Rédiger un plan d'expérience avec hypothèse, métrique principale et garde-fous
- Implémenter une assignation aléatoire stable par hachage
- Calculer taille d'échantillon, puissance et durée d'un test
- Analyser un test de conversion (test z, IC de la différence, uplift)
- Analyser une métrique de revenu avec Welch et le bootstrap
- Détecter un SRM, éviter le peeking et corriger les comparaisons multiples
- Formuler une décision argumentée à partir des résultats
Programme des 5 leçons
- Formuler une hypothèse testable et choisir une métrique principale et des métriques garde-fous
- Mettre en place une assignation aléatoire, stable et équilibrée des utilisateurs
Hypothèse d'expérienceMétrique principale et garde-fousRandomisation
- 02
Taille d'échantillon, effet minimal détectable et puissance
- Calculer la taille d'échantillon nécessaire pour comparer deux proportions
- Expliquer les liens entre alpha, puissance, effet minimal détectable et durée du test
Puissance statistiqueEffet minimal détectableTaille d'échantillon
- 03
Analyser un test de conversion : test de deux proportions
- Réaliser un test z de comparaison de deux proportions
- Calculer l'intervalle de confiance de la différence et l'uplift relatif
- Formuler une décision à partir des résultats
- 04
Métriques continues : test de Welch et bootstrap
- Analyser une métrique continue (revenu par utilisateur) avec un test de Welch
- Construire un intervalle de confiance par bootstrap
- Éviter les pièges des métriques ratio
- 05
Pièges des tests A/B : SRM, peeking et comparaisons multiples
- Détecter un déséquilibre de répartition (SRM) avec un test du khi-deux
- Comprendre pourquoi regarder les résultats en continu gonfle les faux positifs
- Corriger des comparaisons multiples avec Bonferroni ou Holm
Projet final
Analyse complète d'un test A/B de page de paiement
Une boutique en ligne a testé une nouvelle page de paiement. Génère en Python (graine fixe) un jeu de données au niveau utilisateur : groupe, date d'exposition, conversion, revenu, appareil. Introduis volontairement un léger effet sur la conversion et un effet de nouveauté. Rédige le plan d'expérience, dimensionne le test, puis réalise l'analyse complète jusqu'à une recommandation argumentée.
Livrables
- Le plan d'expérience (hypothèse, métrique principale, garde-fous, unité, alpha, puissance, MDE, durée)
- Le calcul de taille d'échantillon et de durée
- Le contrôle SRM
- L'analyse de la conversion (test z, IC, uplift) et du revenu par utilisateur (Welch et bootstrap)
- L'analyse de l'effet par semaine et une analyse par appareil corrigée par Holm
- Une recommandation d'une page destinée à l'équipe produit
Critères d'évaluation
- Le plan est rédigé avant l'analyse et respecté
- Les calculs sont corrects et reproductibles
- L'unité d'analyse correspond à l'unité de randomisation
- Les pièges (SRM, peeking, comparaisons multiples, nouveauté) sont traités explicitement
- La recommandation s'appuie sur l'effet et son incertitude, pas uniquement sur la p-value
Questions fréquentes
Combien de temps doit durer un test A/B ?
La durée découle de la taille d'échantillon nécessaire, calculée à partir du taux de base, de l'effet minimal détectable, du seuil alpha et de la puissance, divisée par le trafic quotidien. On l'arrondit à des semaines complètes.
Peut-on arrêter un test A/B dès qu'il est significatif ?
Non, sauf avec une méthode séquentielle conçue pour cela. Consulter la p-value en continu et s'arrêter au premier résultat significatif augmente fortement le taux de faux positifs.
Faut-il connaître les statistiques avant ce cours ?
Oui, les bases des tests d'hypothèses et des intervalles de confiance (cours Probabilités et statistiques inférentielles) ainsi que pandas sont recommandés.
Qu'est-ce qu'un SRM ?
Un sample ratio mismatch est un écart significatif entre la répartition des utilisateurs observée et celle prévue. Il révèle souvent un bug et doit être expliqué avant d'interpréter les résultats.
Ce cours, raconté pour ton métier
Dis ce que tu veux savoir faire : « Tests A/B et expérimentation » prend sa place dans ton parcours, avec des exemples de ton secteur. Les notions restent celles du cours.