Oblicz wymaganą wielkość próby (MDE) i oceń istotność statystyczną testu A/B

Sprawdź przed uruchomieniem eksperymentu, czy Twój ruch w ogóle pozwala wykryć zakładaną zmianę w rozsądnym czasie, i uniknij przedwczesnego ogłaszania pozornego zwycięzcy.

Cztery reguły statystycznej uczciwości w eksperymentach produktowych

  1. 01

    Policz minimalny wykrywalny efekt (MDE) przed startem

    Przy 300 transakcjach miesięcznie wykrycie poprawy o +4% zajęłoby półtora roku — przy mniejszym ruchu testuj wyłącznie odważne zmiany zdolne dać skok rzędu 15–25% albo mierz przejście do koszyka.

  2. 02

    Sprawdź zgodność podziału ruchu (Sample Ratio Mismatch)

    Jeśli ustawiłeś podział 50/50, a wariant B zebrał 47,2% użytkowników, skrypt wariantu B prawdopodobnie ładuje się wolniej lub psuje na jednej przeglądarce i cały eksperyment jest nieważny.

  3. 03

    Nie zaglądaj codziennie po to, by przerwać przy p < 0,05

    Zatrzymanie testu w pierwszym dniu, w którym krzywa przypadkowo przekroczyła 95% pewności (Peeking), podnosi ryzyko wdrożenia fałszywego zwycięzcy z 5% do ponad 25% — domknij z góry ustaloną próbę i pełne tygodnie.

  4. 04

    Oceniaj przychód i marżę na użytkownika, nie tylko CR

    Test proporcji (Chi-kwadrat) działa dla zero-jedynkowej konwersji, ale do oceny wartości koszyka i przychodu na sesję użyj testu Welcha lub bootstrapu po obcięciu ekstremalnych zamówień hurtowych.

Przykład działania

Wynik 10-dniowego testu nowej karty produktu (założony podział 50/50)

Wariant A: 12 400 użytkowników, 285 zakupów (CR 2,30%). Wariant B: 12 100 użytkowników, 318 zakupów (CR 2,63%, pozorny wzrost +14,3%). Zespół chce natychmiast wdrożyć wariant B.

Walidacja statystyczna i diagnoza próby

1) Test SRM p = 0,055 (na granicy nierównego podziału, warto sprawdzić iOS). 2) Dwustronny p-value dla różnicy konwersji wynosi 0,094 (poniżej wymaganego progu p < 0,05, przedział ufności 95% dla zmiany to od -2,3% do +31%). Moc testu dla efektu 10% wynosiła dopiero 41%.

Przedwczesne zatrzymanie niedoważonego testu po 10 dniach ma blisko 10% ryzyka czystego przypadku — domknięcie do pełnych 21 dni rozstrzygnie wynik rzetelnie.

Najczęściej zadawane pytania

Dlaczego każdy test A/B powinien trwać pełną wielokrotność siedmiu dni (7, 14 lub 21 dni)?

Zachowania kupujących w weekend i we wtorek w południe bardzo się różnią — zamknięcie eksperymentu w czwartek po 10 dniach nadreprezentuje określone dni tygodnia i zniekształca wynik.

Co zrobić, gdy nasza strona B2B ma zbyt mały ruch na klasyczne testy A/B konwersji końcowej?

Zamiast dzielić skromny ruch na pół w nieskończoność, prowadź badania użyteczności na 8 użytkownikach w celu usunięcia ewidentnych błędów UX oraz mierz zmianę wskaźników przed i po wdrożeniu na tle grup kontrolnych.

Jak odróżnić przejściowy efekt świeżości (Novelty Effect) od trwałej poprawy konwersji?

Porównaj wynik nowego wariantu osobno dla zupełnie nowych odwiedzających oraz powracających klientów — stali użytkownicy często klikają nowy element z ciekawości w pierwszym tygodniu, po czym wracają do starych nawyków.

Dowiedz się więcej

Powiązane poradniki i wyjaśnienia do tego zadania

Skategoryzuj tysiące recenzji, ankiet NPS i rozmów wsparcia według wpływu na wynik

Wyjdź poza samą średnią gwiazdek 4,6/5 — przekształć otwarte komentarze z ankiet, marketplace, wizytówek Google i czatu na ranking konkretnych przyczyn utraty klientów.

Porównaj swoje ceny, dostępność i koszty dostawy z konkurencją na indeksach KVI

Przestań reagować chaotyczną wojną cenową na każdy zrzut ekranu od handlowca — zbuduj systematyczny indeks cenowy ważony ruchem i dostępnością rywali.

Oceń potencjał popytu, koszty kliknięć i marżę przed wejściem na nowy rynek zbytu

Zbuduj macierz rankingową krajów lub nisz B2B łączącą wolumen wyszukiwań kategorii, stawki CPC, nasycenie konkurencji, logistykę zwrotów i siłę cenową.

Przeprowadź eksperyment geograficzny (Geo-Lift / Matched Market) bez ciasteczek

Gdy nie możesz losowo podzielić użytkowników online (kampanie zasięgowe, cennik w sklepach stacjonarnych, outdoor), dobierz statystycznie bliźniacze regiony lub placówki.

Rozłóż nagłe tąpnięcie sprzedaży na drzewo przyczyn: ruch, konwersję, koszyk i stany

Zamiast zgadywać na awaryjnym spotkaniu, przeprowadź ustrukturyzowaną izolację problemu po kanałach, urządzeniach, kategoriach, dostępności towaru i błędach technicznych.

Uporządkuj dane o zużyciu energii, paliw, odpadach i dostawach pod wskaźniki ESG

Połącz rozproszone faktury za media, karty paliwowe, ewidencję odpadów BDO i wagi opakowań w audytowalny model danych, który jednocześnie wskazuje oszczędności operacyjne.