Le peeking consiste à consulter les résultats d'un test A/B en cours et à l'arrêter dès que la p-value passe sous le seuil. Cette pratique multiplie les occasions d'obtenir un faux positif et fait grimper le risque réel de première espèce bien au-delà de alpha. La parade est de fixer la taille d'échantillon à l'avance ou d'utiliser des méthodes séquentielles.
Exemple
Regarder la p-value chaque jour et arrêter au premier jour où p < 0,05 produit de faux gagnants.