Testy normalności wielowymiarowej

Kiedy stosować:

Wiele metod analizy wielowymiarowej, w tym MANOVA, testy Hotellinga czy modele regresji, opiera się na założeniu normalności wielowymiarowej. Jeśli zbiór zmiennych charakteryzuje wielowymiarowy rozkład normalny, to każda zmienna posiada rozkład normalny. Jednak gdy wszystkie pojedyncze zmienne charakteryzowane są rozkładem normalnym, ich zestaw nie musi mieć wielowymiarowego rozkładu normalnego – dlatego testowanie jednowymiarowej normalności każdej zmiennej może być przydatne, ale nie można założyć, że jest wystarczające.

Warunki stosowania

pomiar na skali interwałowej dla wszystkich analizowanych zmiennych.

Definicje miar

Różne typy analiz statystycznych zakładające normalność są w różnym stopniu wrażliwe na różne rodzaje odejścia od tego założenia. Przyjmuje się, że testy odnoszące się w swoich hipotezach do średnich są bardziej wrażliwe na skośność, a testy porównujące kowariancje w większym stopniu zależą od kurtozy.

Test Mardia (ang. Mardia's test for multivariate normality) – test zaproponowany przez Mardia w 1970 roku[116] i zmodyfikowany w 1974 roku[117] bada normalność rozkładu, analizując oddzielnie rozmiar wielowymiarowej skośności i wielowymiarowej kurtozy.

Test Jarque-Bera (ang. Jarque-Bera test for multivariate normality) – Jarque i Bera[88] zaproponowali złączenie dwóch miar Mardia (skośności i kurtozy) w jeden test.

Test Hanusz-Tarasińska (ang. Hanusz-Tarasinska test for multivariate normality) – podobny sposób łączenia w jeden test informacji o skośności i kurtozie oferuje metoda Hanusz i Tarasińskiej (2014)[78].

Test Henze-Zirklera (ang. Henze-Zirkler test for multivariate normality) – Henze i Zirkler (1990)[80] zaproponowali test badający wielowymiarową normalność rozkładu, rozszerzając pracę Baringhausa i Henzego nad empiryczną funkcją charakterystyczną[55]. W literaturze jest to test uznawany za jeden z najsilniejszych testów poświęconych wielowymiarowemu rozkładowi normalnemu (Thode, 2002)[164].

Jak ustawić analizę

Statystyka \(\to\) Testy normalności \(\to\) Normalność wielowymiarowa.

Wykonanie i interpretacja

Przykład 1. (plik Irysy.pqs)
Badamy normalność rozkładu dla klasycznego zestawu danych R.A. Fishera z 1936 roku[59]. Plik znajduje się w pomocy dołączonej do programu i zawiera pomiary długości i szerokości płatków oraz działek kielicha dla 3 odmian kwiatu irysa. Analiza zostanie przeprowadzona oddzielnie dla każdej odmiany.

W oknie analizy zaznaczamy wszystkie testy oraz wykres, a w celu powtórzenia analizy dla każdej odmiany irysa ustawiamy filtr wielokrotny. Wszystkie wyniki zwrócimy do tego samego arkusza, dlatego zaznaczamy opcję Połącz w jeden raport.

wszystkie testy \(p>0.05\) dla odmian versicolor i virginica; wyniki na pograniczu istotności dla odmiany setosa

Rozkład danych nie odbiega od wielowymiarowego rozkładu normalnego dla odmian versicolor i virginica; dla odmiany setosa wyniki są niejednoznaczne.

Dla odmiany setosa test Mardia dla kurtozy oraz test Henze-Zirkler wskazują na odstępstwa od wielowymiarowego rozkładu normalnego. Możemy obserwować takie odstępstwa również na poniższym wykresie, gdzie wraz z narastaniem odległości Mahalanobisa punkty znajdują się coraz dalej od prostej.

DLA ZAINTERESOWANYCH

Hipotezy (wspólne dla wszystkich testów):

\[\begin{array}{cl} \mathcal{H}_0: & \text{rozkład danych w populacji }=\text{ wielowymiarowy rozkład normalny},\\ \mathcal{H}_1: & \text{rozkład danych w populacji }\neq \text{wielowymiarowy rozkład normalny.} \end{array}\]

Test Mardia
Wzory: Mardia zdefiniował wielowymiarową skośność i kurtozę następująco:

\[ skew=\frac{1}{n^2}\sum_{i=1}^n\sum_{j=1}^nm_{ij}^3, \quad kurt=\frac{1}{n}\sum_{i=1}^nm_{ii}^2 \]

gdzie:
\(m_{ij}=\left(X_i-\bar{X}\right)^TS^{-1}\left(X_j-\bar{X}\right)\),
\(S=\frac{1}{n}\sum_{j=1}^n\left(X_i-\bar{X}\right)\left(X_i-\bar{X}\right)^T\),
\(\bar{X}\) – średnia, \(S\) – macierz kowariancji.
Dla danych pochodzących z próby, a nie z populacji, wzory na skośność i kurtozę są mnożone odpowiednio: skośność przez \(\left(n/(n-1)\right)^3\), a kurtoza przez \(\left(n/(n-1)\right)^2\).

Test skośności: gdy próba pochodzi z populacji o wielowymiarowym rozkładzie normalnym (hipoteza zerowa), statystyka testowa ma postać (Mardia, 1970):

\[ \chi^2(M)=\frac{n}{6}skew \]

lub z poprawką dokładnych momentów dla grup o mniejszych licznościach (\(<20\)) (Mardia, 1974):

\[ \chi_c^2(M)=\frac{n}{6}\frac{(n+1)(n+3)(k+1)}{n((n+1)(k+1)-6)}skew \]

Statystyka ta ma asymptotycznie (dla dużych liczności) rozkład \(\chi^2\) z \(df=f=\frac{k(k+1)(k+2)}{6}\) stopniami swobody.

Test kurtozy: gdy próba pochodzi z populacji o wielowymiarowym rozkładzie normalnym (hipoteza zerowa), statystyka testowa ma postać (Mardia, 1974):

\[ Z(M)=\frac{kurt-k(k+2)}{\sqrt{\frac{8k(k+2)}{n}}} \]

lub z poprawką (Mardia, 1974):

\[ Z_c(M)=\frac{(n+1)kurt-k(k+2)(n-1)}{\sqrt{\frac{8k(k+2)(n-3)(n-k-1)(n-k+1)}{(n+3)(n+5)}}} \]

Statystyka ta ma asymptotycznie (dla dużych liczności) rozkład normalny.

Interpretacja: wyznaczoną na podstawie statystyki testowej wartość \(p\) dla obu testów (skośności i kurtozy) porównujemy z poziomem istotności \(\alpha\): gdy \(p \le \alpha\) dla przynajmniej jednego testu, odrzucamy \(\mathcal{H}_0\) na rzecz \(\mathcal{H}_1\); gdy \(p > \alpha\) dla obu zastosowanych testów, nie ma podstaw, aby odrzucić \(\mathcal{H}_0\).

Test Jarque-Bera
Wzory: test bazuje na statystyce skośności i kurtozy testu Mardia. Statystyka testowa ma postać:

\[ \chi^2(JB)=\chi^2(M)+(Z(M))^2 \]

lub z poprawką (Mardia, 1974):

\[ \chi_c^2(JB)=\chi_c^2(M)+(Z_c(M))^2 \]

Statystyka ta ma asymptotycznie (dla dużych liczności) rozkład \(\chi^2\) z \(df=f+1\) stopniami swobody.

Wyznaczoną na podstawie statystyki testowej wartość \(p\) porównujemy z poziomem istotności \(\alpha\): gdy \(p \le \alpha\), odrzucamy \(\mathcal{H}_0\) na rzecz \(\mathcal{H}_1\); gdy \(p > \alpha\), nie ma podstaw, aby odrzucić \(\mathcal{H}_0\).

Test Hanusz-Tarasińska
Wzory: test bazuje na statystyce skośności i kurtozy testu Mardia. Statystyka testowa ma postać:

\[ t_c(HT)=\frac{Z_c(M)}{\sqrt{\frac{\chi_c^2(M)}{f}}} \]

Statystyka testowa ma rozkład \(t\)-Studenta z \(df=f\) stopniami swobody.

Test Henze-Zirklera
Wzory: statystyka testowa ma postać:

\[ Z(HZ)_{\beta}=n\left(4I_E+D_{n,\beta}I_{E^c}\right) \]

gdzie:
\(I_E\) oraz \(I_{E^c}\) – funkcje indykatorowe zależne od osobliwości macierzy kowariancji,
\(D_{n,\beta}=\frac{1}{n^2}\sum \exp\left(\frac{-\beta^2||Y_j-Y_k||^2}{2}\right)+(1+2\beta^2)^{-p/2}-2(1+\beta^2)^{-p/2}\sum \exp\left(\frac{-\beta^2||Y_j||^2}{2(1+\beta^2)}\right)\),
\(Y_i=S^{1/2}(X_i-\bar{X})\),
\(\beta*=2^{-1/2}\left(\frac{n(2k+1)}{4}\right)^{1/(k+4)}\) – optymalna wartość parametru \(\beta\).

Statystyka \(Z(HZ)_{\beta}\) ma asymptotycznie (dla dużych liczności) rozkład normalny oparty na średniej i wariancji opisanej przez Henze i Zirklera i odczytywany jednostronnie.

Wyznaczoną na podstawie statystyki testowej jednostronną wartość \(p\) porównujemy z poziomem istotności \(\alpha\): gdy \(p \le \alpha\), odrzucamy \(\mathcal{H}_0\) na rzecz \(\mathcal{H}_1\); gdy \(p > \alpha\), nie ma podstaw, aby odrzucić \(\mathcal{H}_0\).