---
title: Istotność statystyczna testów A/B i wielkość próby MDE
description: Przeprowadź rzetelną walidację wyników testów A/B w produkcie i e-commerce. Oblicz minimalny wykrywalny efekt (MDE), sprawdź błąd podziału SRM i moc
canonical: "https://analizy.ai/j/walidacja-istotnosci-statystycznej-i-wielkosci-proby-testow-ab"
modified: 2026-11-14
author: redakcja analizy.ai
source: "https://analizy.ai"
category: Testy A/B, analiza opinii klientów i monitoring rynku
category_url: "https://analizy.ai/j#group-eksperymenty-ab-sentyment-i-konkurencja"
---

# Oblicz wymaganą wielkość próby (MDE) i oceń istotność statystyczną testu A/B

> Sprawdź przed uruchomieniem eksperymentu, czy Twój ruch w ogóle pozwala wykryć zakładaną zmianę w rozsądnym czasie, i uniknij przedwczesnego ogłaszania pozornego zwycięzcy.

## Przygotowane polecenie startowe

Przeprowadziliśmy 10-dniowy test A/B nowej karty produktu: wariant A miał 12 400 sesji i 285 zakupów, wariant B 12 100 sesji i 318 zakupów. Chcę sprawdzić istotność, moc i wpływ na AOV.

### Szybkie scenariusze
- **Czas trwania i wielkość próby przed testem:** Chcę policzyć, jak dużego przyrostu MDE potrzebujemy przy naszym ruchu, aby zamknąć test w 3 tygodnie.
- **Weryfikacja wyniku i test proporcji SRM:** Sprawdźmy, czy podział ruchu 50/50 nie był uszkodzony technicznie i czy różnica marży na sesję jest istotna.
- **Testowanie przy małej liczbie transakcji:** Mamy tylko 400 zakupów miesięcznie — dobierzmy właściwą mikro-metrykę wyższego pietra lejka.

- [Zapisz się na wczesny dostęp](https://analizy.ai/#waitlist-5335aa)

## Cztery reguły statystycznej uczciwości w eksperymentach produktowych

1. **Policz minimalny wykrywalny efekt (MDE) przed startem** — Przy 300 transakcjach miesięcznie wykrycie poprawy o +4% zajęłoby półtora roku — przy mniejszym ruchu testuj wyłącznie odważne zmiany zdolne dać skok rzędu 15–25% albo mierz przejście do koszyka.
2. **Sprawdź zgodność podziału ruchu (Sample Ratio Mismatch)** — Jeśli ustawiłeś podział 50/50, a wariant B zebrał 47,2% użytkowników, skrypt wariantu B prawdopodobnie ładuje się wolniej lub psuje na jednej przeglądarce i cały eksperyment jest nieważny.
3. **Nie zaglądaj codziennie po to, by przerwać przy p < 0,05** — Zatrzymanie testu w pierwszym dniu, w którym krzywa przypadkowo przekroczyła 95% pewności (Peeking), podnosi ryzyko wdrożenia fałszywego zwycięzcy z 5% do ponad 25% — domknij z góry ustaloną próbę i pełne tygodnie.
4. **Oceniaj przychód i marżę na użytkownika, nie tylko CR** — Test proporcji (Chi-kwadrat) działa dla zero-jedynkowej konwersji, ale do oceny wartości koszyka i przychodu na sesję użyj testu Welcha lub bootstrapu po obcięciu ekstremalnych zamówień hurtowych.

## Przykład działania

### Wynik 10-dniowego testu nowej karty produktu (założony podział 50/50)

Wariant A: 12 400 użytkowników, 285 zakupów (CR 2,30%). Wariant B: 12 100 użytkowników, 318 zakupów (CR 2,63%, pozorny wzrost +14,3%). Zespół chce natychmiast wdrożyć wariant B.

### Walidacja statystyczna i diagnoza próby

1) Test SRM p = 0,055 (na granicy nierównego podziału, warto sprawdzić iOS). 2) Dwustronny p-value dla różnicy konwersji wynosi 0,094 (poniżej wymaganego progu p < 0,05, przedział ufności 95% dla zmiany to od -2,3% do +31%). Moc testu dla efektu 10% wynosiła dopiero 41%.

Przedwczesne zatrzymanie niedoważonego testu po 10 dniach ma blisko 10% ryzyka czystego przypadku — domknięcie do pełnych 21 dni rozstrzygnie wynik rzetelnie.

## Najczęściej zadawane pytania

### Dlaczego każdy test A/B powinien trwać pełną wielokrotność siedmiu dni (7, 14 lub 21 dni)?

Zachowania kupujących w weekend i we wtorek w południe bardzo się różnią — zamknięcie eksperymentu w czwartek po 10 dniach nadreprezentuje określone dni tygodnia i zniekształca wynik.

### Co zrobić, gdy nasza strona B2B ma zbyt mały ruch na klasyczne testy A/B konwersji końcowej?

Zamiast dzielić skromny ruch na pół w nieskończoność, prowadź badania użyteczności na 8 użytkownikach w celu usunięcia ewidentnych błędów UX oraz mierz zmianę wskaźników przed i po wdrożeniu na tle grup kontrolnych.

### Jak odróżnić przejściowy efekt świeżości (Novelty Effect) od trwałej poprawy konwersji?

Porównaj wynik nowego wariantu osobno dla zupełnie nowych odwiedzających oraz powracających klientów — stali użytkownicy często klikają nowy element z ciekawości w pierwszym tygodniu, po czym wracają do starych nawyków.

## Dowiedz się więcej

- [Analiza statystyczna danych: rola decyzji w biznesie](https://analizy.ai/analiza-statystyczna-danych.md)
- [Analiza danych kosztowych: błędy, które koszują firmy](https://analizy.ai/analiza-danych-kosztowych.md)
- [Analiza danych historycznych: jak używać danych do strategii biznesowej](https://analizy.ai/analiza-danych-historycznych.md)
- [Automatyzacja analiz sprzedaży: konieczność czy ryzyko](https://analizy.ai/narzedzie-do-automatyzacji-analiz-sprzedazy.md)
- [Analiza opinii klientów: narzędzie lub pułapka dla biznesu](https://analizy.ai/analiza-opinii-klientow.md)
- [Monitorowanie reputacji marki w dobie mediów społecznościowych](https://analizy.ai/monitorowanie-reputacji-marki.md)

## Powiązane zadania w tej kategorii

- [Skategoryzuj tysiące recenzji, ankiet NPS i rozmów wsparcia według wpływu na wynik](https://analizy.ai/j/analiza-opinii-i-sentymentu-recenzji-klientow-oraz-nps.md)
- [Porównaj swoje ceny, dostępność i koszty dostawy z konkurencją na indeksach KVI](https://analizy.ai/j/monitoring-cen-konkurencji-i-pozycjonowania-oferty-na-rynku.md)
- [Oceń potencjał popytu, koszty kliknięć i marżę przed wejściem na nowy rynek zbytu](https://analizy.ai/j/ocena-potencjalu-wejscia-na-nowe-rynki-zbytu-i-eksport-cross-border.md)
- [Przeprowadź eksperyment geograficzny (Geo-Lift / Matched Market) bez ciasteczek](https://analizy.ai/j/projektowanie-eksperymentow-geograficznych-geo-lift-w-sprzedazy.md)
- [Rozłóż nagłe tąpnięcie sprzedaży na drzewo przyczyn: ruch, konwersję, koszyk i stany](https://analizy.ai/j/analiza-przyczyn-naglych-spadkow-sprzedazy-root-cause-analysis.md)
- [Uporządkuj dane o zużyciu energii, paliw, odpadach i dostawach pod wskaźniki ESG](https://analizy.ai/j/zbieranie-i-analiza-danych-operacyjnych-pod-raportowanie-esg.md)

---

*Published by **Wondel.ai sp. z o.o.** · [analizy.ai](https://analizy.ai) · [About](https://analizy.ai/about) · [Editorial Guidelines](https://analizy.ai/editorial) · [Contact](https://analizy.ai/contact) · [Produkty Wondel.ai](https://wondel.ai/pl/produkty)*