Odfiltruj błędy wpisów, skoki hurtowe i artefakty migracji w danych historycznych

Zanim wyciągniesz średnią lub wytrenujesz model predykcyjny, oddziel błędy ludzkie z przecinkiem od prawdziwych jednorazowych zamówień hurtowych.

Jak czyścić dane historyczne nie wylewając dziecka z kąpielą

  1. 01

    Używaj miar odpornych (mediana i IQR) do detekcji

    Pojedynczy błąd wpisania ceny 100 000 zł zamiast 100,00 zł sam przesuwa zwykłą średnią i odchylenie standardowe — szukaj anomalii względem mediany oraz rozstępu międzykwartylowego.

  2. 02

    Rozróżnij błąd techniczny od zdarzenia biznesowego

    Błędną wagę paczki 999 kg naprawiasz w danych, natomiast prawdziwy jednorazowy zakup 2000 sztuk przez klienta korporacyjnego zostawiasz w księgach, wyłączając go jedynie z bazy prognozy detalicznej.

  3. 03

    Wyszukaj sztuczne daty zbiorczych importów

    Gdy 12 000 klientów ma tę samą datę utworzenia '2023-01-01 00:00', to nie był rekordowy dzień marketingu, lecz dzień migracji starego systemu — oznacz tę kohortę osobno.

  4. 04

    Sprawdź błąd przeżywalności (Survivorship Bias)

    Jeśli analizujesz historię wyłącznie dla produktów aktywnych dzisiaj i pomijasz indeksy usunięte rok temu po porażce rynkowej, dramatycznie zawyżysz średnią skuteczność swoich wdrożeń.

Najczęściej zadawane pytania

Dlaczego automatyczne obcinanie 1% najwyższych transakcji w sklepie może zafałszować analizę?

W handlu z udziałem firm ten górny 1% to często prawdziwe, najbardziej dochodowe zamówienia B2B — ich ślepe usunięcie ukryje cały segment hurtowy zamiast oczyścić błędy.

Skąd w raportach magazynowych i sprzedażowych biorą się ujemne stany oraz marże równe 100%?

Ujemny stan powstaje przy zafakturowaniu wydania przed zaksięgowaniem dokumentu przyjęcia dostawy PZ, a marża 100% pojawia się przy sprzedaży kartoteki usługowej lub kompletu bez podpiętej receptury kosztowej.

Jak dokumentować korekty na zbiorze analitycznym, by zachować pełną rozliczalność?

Nigdy nie nadpisuj surowych tabel źródłowych — trzymaj osobną warstwę czystych widoków z kolumną flagi informującą, które rekordy zostały wykluczone z modelu lub wygładzone i dlaczego.

Dowiedz się więcej

Powiązane poradniki i wyjaśnienia do tego zadania

Wyczyść zepsute kodowanie, niespójne daty i formaty liczb w plikach CSV oraz Excel

Napraw krzaczki zamiast polskich znaków, ucięte zera w kodach pocztowych i EAN, pomieszane formaty dat DD.MM/MM.DD oraz liczby zapisane jako tekst.

Znajdź przyczynę rozjazdów kwotowych między CRM, platformą sklepową a księgowością ERP

Przeprowadź uzgodnienie wiersz po wierszu (Reconciliation) po identyfikatorach zamówień i NIP, wyłapując zagubione integracje, duplikaty korekt i różnice netto/brutto.

Połącz zduplikowane karty klientów i firm w bazie CRM bez utraty historii

Wykryj te same firmy i osoby zapisane trzykrotnie z przedrostkiem 'Sp. z o.o.', literówką w domenie lub innym zapisem numeru telefonu.

Zanonimizuj dane osobowe klientów i pracowników przed analizą w BI oraz narzędziach AI

Zastąp imiona, adresy, e-maile i telefony trwałymi kluczami pseudonimowymi, zachowując 100% zdolności do analizy kohortowej, RFM i geograficznej.

Uporządkuj chaotyczne drzewo kategorii, jednostki miar i atrybuty katalogu SKU

Zamień niespójne opisy z cenników dziesięciu dostawców ('czarny / black / blk', '0.5l / 500 ml') na czystą macierz parametrów pod filtry sklepu i analitykę marży.

Przeprowadź audyt poprawności zdarzeń Data Layer i konfiguracji Google Analytics 4

Wykryj zduplikowane transakcje po odświeżeniu strony podziękowania, ruch z bramek płatniczych kradnący źródło konwersji (przelewy24/payu) oraz ucinanie danych progowaniem.