Analiza normalności rozkładu danych. Jak ocenić ją prawidłowo?
Czy p < 0,05 w teście Shapiro-Wilka oznacza, że trzeba zastosować test nieparametryczny? Niekoniecznie. W artykule…
Czytaj więcej >Analiza normalności rozkładu danych. Jak ocenić ją prawidłowo?
Analiza normalności rozkładu jest jednym z pierwszych etapów oceny danych w badaniach medycznych. W wielu publikacjach sprowadza się jednak do jednego zdania: „Normalność rozkładu sprawdzono testem Shapiro-Wilka”. Następnie, zależnie od uzyskanej wartości p, autorzy automatycznie wybierają test parametryczny albo nieparametryczny.
Takie postępowanie jest proste, ale nie zawsze poprawne. Ocena normalności rozkładu nie powinna opierać się wyłącznie na wyniku jednego testu. Należy uwzględnić także histogram, wykres Q-Q, skośność, kurtozę, wartości odstające, liczebność próby oraz wymagania planowanej metody statystycznej. Test Shapiro-Wilka jest przydatnym elementem diagnostyki, ale nie powinien pełnić funkcji automatycznego przełącznika między testem t-Studenta a testem U Manna-Whitneya.
W praktyce statystyki medycznej najważniejsze pytanie nie brzmi: „Czy dane są idealnie normalne?”, lecz: „Czy charakter danych może zaburzyć działanie metody, którą planujemy zastosować?”.
Czym jest rozkład normalny?
Mówimy, że zmienna ma rozkład normalny, nazywany również rozkładem Gaussa, gdy większość wyników skupia się wokół wartości przeciętnej, a wyniki bardzo niskie lub bardzo wysokie występują rzadziej. Na wykresie taki rozkład przypomina symetryczny dzwon.
W idealnym rozkładzie normalnym wartości układają się symetrycznie po obu stronach środka. Średnia, mediana i najczęściej występująca wartość są takie same. Większość wyników znajduje się blisko średniej: około 68% wyników mieści się w odległości jednego odchylenia standardowego od średniej, a około 95% w odległości dwóch odchyleń standardowych.
W rzeczywistych danych medycznych idealny „dzwon” występuje rzadko. Niewielkie odstępstwa od tego kształtu są częste i same w sobie nie muszą oznaczać problemu dla dalszej analizy statystycznej.
Dlaczego analizujemy normalność rozkładu danych?
Ocena rozkładu danych pomaga zdecydować, czy sposób opisu i planowana analiza statystyczna są adekwatne do rzeczywistej struktury danych. W praktyce statystyki medycznej jest to ważne zwłaszcza przy wyborze między średnią i medianą, testem parametrycznym i nieparametrycznym albo prostą analizą i metodą odporną na wartości odstające.
Analiza normalności pozwala też ocenić, czy spełnione są założenia zaplanowanego testu statystycznego lub modelu, czy wynik może być zależny od pojedynczych obserwacji skrajnych oraz czy warto rozważyć transformację danych. Nie chodzi więc o samo zaklasyfikowanie rozkładu jako „normalnego” lub „nienormalnego”, lecz o ocenę, czy charakter danych może zaburzyć wiarygodność planowanej analizy.
Nie należy jednak utożsamiać rozkładu innego niż normalny z automatyczną koniecznością zastosowania testu nieparametrycznego. Ważniejsze jest pytanie, czy charakter i skala odchylenia mogą zaburzyć działanie wybranej metody.
Jak prawidłowo przeprowadzić analizę normalności?
Dobra praktyka polega na połączeniu kilku elementów diagnostycznych, a nie na mechanicznym odczytaniu jednej wartości p. W praktycznej analizie danych medycznych warto przejść przez następujące kroki:
- sprawdzenie danych przed analizą pod kątem błędów, braków i wartości niemożliwych klinicznie;
- ocena histogramu oraz wykresu Q-Q;
- ocena skośności, kurtozy i wartości odstających;
- wykonanie testu normalności, na przykład testu Shapiro-Wilka;
- uwzględnienie liczebności próby oraz odporności planowanej metody;
- ustalenie, czego dokładnie dotyczy założenie normalności: surowych wyników, różnic między pomiarami czy reszt modelu.
Najbezpieczniej traktować normalność jako problem diagnostyczny, a nie jako pojedynczy test formalny zakończony decyzją „tak” albo „nie”.
Sprawdzenie danych przed analizą
Zanim ocenimy normalność rozkładu, trzeba upewnić się, że analizujemy poprawne dane. Pojedyncza pomyłka może istotnie zmienić wygląd histogramu, wynik testu normalności oraz wnioski z analizy.
Przykład jest prosty: wartość 450 zamiast 45 może odpowiadać za całą asymetrię rozkładu, a BMI = 285 prawdopodobnie oznacza 28,5. Warto więc sprawdzić błędy wprowadzania danych, jednostki, wartości niemożliwe klinicznie, kodowanie braków danych jako 0, 99 albo 999 oraz powtarzające się rekordy.
Histogram
Histogram to prosty wykres kolumnowy, który pokazuje, ile obserwacji znajduje się w kolejnych przedziałach wartości. Pomaga szybko zobaczyć, czy dane są mniej więcej symetryczne, skośne, wielomodalne (czyli mają kilka wartości dominujących – wierzchołków) albo zawierają wartości skrajne. Przykład histogramu dla BMI znajduje się poniżej:
W praktyce histogram pozwala wstępnie ocenić:
- symetrię lub skośność rozkładu;
- liczbę wierzchołków, czyli możliwą obecność kilku skupień danych;
- długość ogonów rozkładu;
- wartości skrajne i potencjalne błędy w danych;
- obecność podgrup, które mogą mieć znaczenie kliniczne.
Histogram jest bardzo użyteczny, ale ma ważne ograniczenie: jego wygląd zależy od liczby i szerokości zastosowanych przedziałów. Ten sam zbiór danych może wyglądać nieco inaczej po zwykłej zmianie ustawień wykresu. Zbyt szerokie przedziały mogą ukrywać nieregularności, a zbyt wąskie mogą nadmiernie eksponować losowe wahania. Poniżej znajduje się histogram dla tego samego zbioru danych dla BMI, co na wcześniejszym wykresie, ale tylko ze zmienioną liczbą i szerokością przedziałów.
Dodatkowo, w małych próbach histogram bywa niestabilny i trudny do interpretacji. Przy 10 lub 15 obserwacjach nie należy oczekiwać idealnie gładkiej krzywej dzwonowej, nawet jeżeli dane rzeczywiście pochodzą z populacji o rozkładzie normalnym.
Wykres Q-Q
Wykres Q-Q, czyli wykres kwantyl-kwantyl, porównuje obserwowane wartości z wartościami oczekiwanymi dla rozkładu normalnego. W uproszczeniu: jeżeli punkty układają się wzdłuż ukośnej linii, rozkład danych można uznać za zbliżony do normalnego.
Charakterystyczne odchylenia od linii mogą sugerować:
- skośność, gdy punkty systematycznie odchodzą od linii w jednym kierunku;
- ciężkie ogony, czyli większą liczbę obserwacji skrajnych niż w rozkładzie normalnym;
- lekkie ogony, czyli mniejszą liczbę obserwacji skrajnych;
- wartości odstające, gdy pojedyncze punkty wyraźnie oddalają się od pozostałych;
- mieszaninę kilku rozkładów, na przykład obecność odrębnych podgrup pacjentów.
Pojedyncze odchylenie na skraju wykresu nie zawsze jest powodem do odrzucenia metod parametrycznych. Znaczenie ma skala odchylenia, liczebność próby oraz to, czy nietypowa obserwacja jest błędem, czy prawidłowym wynikiem klinicznym.
Skośność i kurtoza
Skośność jest statystyką opisową, która informuje, czy rozkład wyników jest symetryczny, czy też po jednej stronie występuje dłuższy ogon. Dodatnia skośność, czyli prawostronna, oznacza, że większość wyników skupia się przy niższych wartościach, a pojedyncze wysokie wyniki wydłużają prawy ogon rozkładu. Ujemna skośność oznacza sytuację odwrotną.
W danych medycznych prawostronna skośność jest bardzo częsta. Dotyczy na przykład czasu hospitalizacji, kosztów leczenia, stężeń markerów biologicznych, liczby powikłań czy czasu do wystąpienia zdarzenia. Większość pacjentów osiąga wtedy wartości niskie lub umiarkowane, a niewielka grupa lub pojedyncze osoby mają wyniki bardzo wysokie.
Kurtoza z kolei opisuje kształt rozkładu, zwłaszcza koncentrację obserwacji i zachowanie ogonów. Wysoka kurtoza może wskazywać na ciężkie ogony i większe prawdopodobieństwo wartości skrajnych.
Nie istnieją uniwersalne wartości skośności i kurtozy, które w każdym badaniu jednoznacznie rozstrzygają o dopuszczalności analizy parametrycznej. Spotykane progi, takie jak +/-1 albo +/-2, należy traktować orientacyjnie, a nie jako bezwzględne kryteria.
Test Shapiro-Wilka
Test Shapiro-Wilka sprawdza hipotezę zerową, że dane pochodzą z populacji o rozkładzie normalnym. Jest to przydatny test, ale jego wynik trzeba interpretować ostrożnie.
Najważniejsze zasady interpretacji są następujące:
- p < 0,05 oznacza, że wykryto istotne statystycznie odstępstwo od rozkładu normalnego;
- p >= 0,05 nie potwierdza normalności, lecz oznacza brak podstaw do jej odrzucenia;
- w małych próbach test może nie wykrywać rzeczywistych odchyleń od normalności;
- w dużych próbach test może wykrywać bardzo drobne, praktycznie nieistotne odchylenia;
- wynik testu powinien być interpretowany razem z histogramem, wykresem Q-Q, skośnością, kurtozą i charakterem danych.
Dlatego im większa jest próba, tym mniej rozsądne staje się podejmowanie decyzji o metodzie analitycznej wyłącznie na podstawie wartości p testu Shapiro-Wilka. Pisałam o tym więcej tutaj.
Czy analizowana zmienna musi mieć rozkład normalny?
To jedno z najczęstszych nieporozumień w analizach medycznych. Odpowiedź brzmi: nie zawsze. Wszystko zależy od zastosowanej metody statystycznej.
Przykładowo:
W teście t-studenta dla pomiarów sparowanych analizujemy różnice między dwoma pomiarami. To rozkład tych różnic, a nie osobno wyników „przed” i „po”, powinien być oceniany pod kątem normalności. Z kolei w regresji liniowej założenie normalności dotyczy przede wszystkim składnika losowego, ocenianego w praktyce poprzez analizę reszt modelu. Nie wymaga się, aby każda zmienna niezależna miała rozkład normalny.
Co więcej, nie wszystkie metody wymagają sprawdzania normalności. Tutaj przykładem jest regresja logistyczna, w której zmienna zależna ma zwykle charakter zer-jedynkowy, więc z definicji nie ma rozkładu normalnego.
Przed uruchomieniem testu Shapiro-Wilka warto zatem najpierw ustalić, dla której zmiennej lub którego elementu modelu normalność rzeczywiście jest wymagana i powinna być sprawdzana.
Czy p < 0,05 w teście Shapiro-Wilka oznacza konieczność zastosowania testu nieparametrycznego?
Nie. Wynik p < 0,05 informuje, że wykryto odstępstwo od idealnego rozkładu normalnego. Nie mówi jednak, jak duże jest to odstępstwo, czy ma ono znaczenie praktyczne, czy wynika ze skośności, kurtozy lub jednej wartości odstającej, ani czy planowana metoda parametryczna jest na nie wrażliwa.
Nie mówi również, czy metoda nieparametryczna odpowiada na to samo pytanie badawcze. Test U Manna-Whitneya nie jest prostym zamiennikiem testu t-studenta. Test t-studenta odnosi się do różnicy średnich, natomiast test U Manna-Whitneya porównuje rozkłady/rangi. Interpretowanie go jako testu różnicy median wymaga dodatkowych założeń, między innymi podobnego kształtu rozkładów w grupach.
Wybór testu powinien wynikać z pytania badawczego, rodzaju danych, wielkości próby, obecności wartości odstających i charakteru odstępstw od normalności, a nie wyłącznie z tego, po której stronie wartości 0,05 znalazł się wynik testu Shapiro-Wilka.
Jak opisać ocenę normalności w publikacji?
Sformułowanie „Normalność rozkładu oceniono testem Shapiro-Wilka” jest poprawne, ale zwykle niepełne. Nie wiadomo z niego, czy autorzy analizowali wykresy, wartości odstające, skośność ani wpływ wielkości próby.
Lepszy opis może brzmieć:
Rozkład zmiennych ciągłych oceniano na podstawie histogramów i wykresów Q-Q oraz wartości skośności i kurtozy. Test Shapiro-Wilka zastosowano jako uzupełniającą, formalną metodę oceny odstępstw od rozkładu normalnego. Przy wyborze metod statystycznych uwzględniono również liczebność grup, występowanie wartości odstających oraz odporność planowanych testów na naruszenie założenia normalności.
W przypadku regresji liniowej warto doprecyzować, że oceniano reszty modelu, a nie wszystkie zmienne osobno. Przykładowo: „Założenie normalności oceniano na podstawie rozkładu reszt modelu oraz wykresu Q-Q reszt”.
Najczęstsze błędy w analizie normalności rozkładu danych
Najczęstsze problemy to automatyczne uznawanie p >= 0,05 w teście Shapiro-Wilka za dowód normalności, automatyczne wybieranie testu parametrycznego lub nieparametrycznego wyłącznie na podstawie testu normalności oraz sprawdzanie rozkładu niewłaściwego elementu analizy, na przykład surowych zmiennych zamiast reszt modelu w regresji liniowej.
Częstym błędem jest także wykonywanie testu normalności oddzielnie dla kilkudziesięciu zmiennych i podejmowanie dla każdej z nich mechanicznej decyzji: średnia albo mediana, test t-studenta albo test U Manna-Whitneya. Takie postępowanie daje pozór obiektywizmu, ale nie uwzględnia właściwości metod, wielkości próby, celu badania ani klinicznego znaczenia obserwowanych odchyleń.
Profesjonalna analiza statystyczna danych medycznych polega na rozpoznaniu struktury danych oraz wyborze metody, która odpowiada na właściwe pytanie badawcze i daje wiarygodne wyniki.
Jeżeli przygotowujesz analizę statystyczną do pracy naukowej, publikacji lub doktoratu, warto zaplanować ocenę rozkładu danych jeszcze przed rozpoczęciem właściwych analiz. Ułatwia to dobór metod, opis wyników i odpowiedź na ewentualne uwagi recenzentów.
Bibliografia:
- Altman DG, Bland JM. Statistics notes: the normal distribution. BMJ. 1995;310:298.
- Ghasemi A, Zahediasl S. Normality tests for statistical analysis: a guide for non-statisticians. Int J Endocrinol Metab. 2012;10(2):486-489.
- Henderson AR. Testing experimental data for univariate normality. Clin Chim Acta. 2006;366(1-2):112-129.
- Kim HY. Statistical notes for clinical researchers: assessing normal distribution using skewness and kurtosis. Restor Dent Endod. 2013;38(1):52-54.
- Rochon J, Gondan M, Kieser M. To test or not to test: preliminary assessment of normality when comparing two independent samples. BMC Med Res Methodol. 2012;12:81.
- Shatz I. Assumption-checking rather than assumption-testing: a terminology and practical framework for improving statistical practice. Biom J. 2024;66(1):e2200356.
- Lang TA, Altman DG. Basic statistical reporting for articles published in biomedical journals: the SAMPL Guidelines. Int J Nurs Stud. 2015;52(1):5-9.