Analiza składowych głównych

Wraz ze wzrostem liczby zmiennych poddawanych analizie statystycznej rośnie dokładność opisu badanego zjawiska, ale rośnie też stopień komplikacji i trudność interpretacji uzyskanych wyników. Zbyt duża liczba zmiennych niesie za sobą ryzyko, że część z nich jest ze sobą skorelowana, a więc niesie informację częściowo powtórzoną, już zawartą w innych zmiennych. Potrzeba redukcji liczby zmiennych (redukcji wymiarowości) zrodziła całą grupę metod poświęconych temu zagadnieniu, takich jak: analiza czynnikowa, analiza składowych głównych, analiza skupień czy analiza dyskryminacyjna. Metody te pozwalają wykryć powiązania między zmiennymi, a na ich podstawie wyodrębnić grupy zmiennych podobnych do siebie i do dalszych analiz wybrać tylko jednego przedstawiciela każdej grupy albo nową zmienną, której wartości są wyliczane na podstawie pozostałych zmiennych z grupy. W ten sposób mamy pewność, że informacja niesiona przez każdą grupę zmiennych jest w analizie uwzględniona – przy niewielkiej utracie informacji zbiór \(p\) zmiennych można zredukować do zbioru \(k\) zmiennych, gdzie \(k<p\).
Podobnie jak grupowaniem zmiennych, możemy być zainteresowani grupowaniem obiektów. Mając informację o pewnych cechach obiektów, jesteśmy często w stanie wyodrębnić grupy obiektów podobnych pod względem tych cech, np. na podstawie kwot przeznaczanych przez klientów pewnej sieci sklepów na poszczególne artykuły można dokonać podziału klientów na segmenty o podobnych preferencjach zakupowych. W konsekwencji swoją ofertę lub reklamę można przygotować nie dla ogółu kupujących, ale oddzielnie dla każdego segmentu, tak by precyzyjniej trafić w potrzeby potencjalnego klienta.

Analiza składowych głównych

Kiedy stosować:

Analiza składowych głównych (ang. Principal Component Analysis, PCA) służy do redukcji liczby zmiennych opisujących badane obiekty. Zamiast wielu, często wzajemnie skorelowanych zmiennych pierwotnych, wyznacza się niewielką liczbę zupełnie nowych zmiennych – składowych głównych, będących ich kombinacją liniową. Kolejne składowe główne są wzajemnie nieskorelowane (ortogonalne), a ich liczba (\(k\)) jest mniejsza lub równa liczbie zmiennych pierwotnych (\(p\)).
Dokładna analiza składowych głównych pozwala wskazać, które zmienne pierwotne mają duży wpływ na daną składową, czyli tworzą razem z nią grupę jednorodną – składowa główna staje się wówczas reprezentantem tej grupy. Uzyskane w ten sposób nowe zmienne są zwykle liczniejsze mniej niż zmienne pierwotne, a niosą tyle samo lub tylko nieznacznie mniej informacji. Co więcej, ponieważ nie są ze sobą skorelowane, mogą być z powodzeniem wykorzystane w większości dalszych analiz wielowymiarowych.

Warunki stosowania

pomiar zmiennych na skali interwałowej,
co najmniej kilka zmiennych pierwotnych poddanych analizie,
istotne skorelowanie zmiennych pierwotnych – jeśli zmienne nie są ze sobą skorelowane (współczynniki korelacji Pearsona bliskie 0), przeprowadzanie analizy składowych głównych nie ma sensu, gdyż wówczas każda zmienna stanowiłaby już odrębną składową; skorelowanie zmiennych można ocenić testem Bartletta oraz współczynnikiem Kaisera-Mayera-Olkina (KMO), opisanymi poniżej.

Definicje miar

Poszczególne składowe główne są kombinacją liniową zmiennych pierwotnych \(X_1,X_2,...,X_p\). Każda z nich wyjaśnia pewną część zmienności zmiennych pierwotnych i w naturalny sposób opiera się na takich miarach zmienności, jak kowariancja (gdy zmienne pierwotne są podobnej wielkości i wyrażone w tych samych jednostkach) lub korelacja (gdy warunki potrzebne do stosowania kowariancji nie są spełnione). Każdą składową główną opisują poniższe wielkości.

Wartość własna: Informuje, jaka część całkowitej zmienności zmiennych pierwotnych jest tłumaczona przez daną składową główną. Pierwsza składowa tłumaczy największą część wariancji, druga – największą część tej wariancji, która nie została wytłumaczona przez pierwszą, kolejna – największą część wariancji nie wytłumaczonej przez poprzednie składowe. W efekcie każda kolejna składowa główna tłumaczy coraz mniejszą część wariancji, czyli kolejne wartości własne są coraz mniejsze. Ponieważ całkowita wariancja jest sumą wartości własnych, dla każdej składowej można wyliczyć procent tłumaczonej przez nią zmienności, a dla kolejnych składowych – zmienność skumulowaną i skumulowany procent zmienności.
Wektor własny: Odzwierciedla wpływ poszczególnych zmiennych pierwotnych na daną składową główną – zawiera współczynniki kombinacji liniowej wyznaczającej tę składową. Znak tych współczynników wskazuje kierunek wpływu i jest przypadkowy, co nie zmienia wartości niesionej informacji.
Ładunki czynnikowe: Podobnie jak wektor własny, odzwierciedlają wpływ poszczególnych zmiennych pierwotnych na daną składową główną – są to wartości pokazujące, jaką część wariancji danej składowej stanowią zmienne pierwotne. Gdy analiza jest oparta na macierzy korelacji, ładunki te interpretuje się jako współczynniki korelacji pomiędzy zmiennymi pierwotnymi a daną składową główną.
Wkłady zmiennych: Bazują na współczynnikach determinacji pomiędzy zmiennymi pierwotnymi a daną składową główną. Wskazują, jaki procent zmienności danej składowej głównej może być tłumaczony zmiennością poszczególnych zmiennych pierwotnych.
Zasoby zmienności wspólnej: Również bazują na współczynnikach determinacji pomiędzy zmiennymi pierwotnymi a daną składową główną, ale wskazują odwrotną zależność – jaki procent zmienności danej zmiennej pierwotnej może być tłumaczony zmiennością pierwszych kilku składowych głównych. Na przykład wynik dotyczący drugiej zmiennej w kolumnie czwartej składowej głównej mówi o tym, jaki procent zmienności drugiej zmiennej może być tłumaczony zmiennością pierwszych czterech składowych głównych.

Interpretacja graficzna
Wiele informacji niesionych przez współczynniki zwracane w tabelach można przedstawić na jednym wykresie. Wykresy zbierają w jednym miejscu informacje o wzajemnych relacjach pomiędzy składowymi, zmiennymi pierwotnymi i przypadkami, przez co dają całościowy obraz analizy i są jej bardzo dobrym podsumowaniem.
Wykres ładunków czynnikowych przedstawia wektory połączone z początkiem układu współrzędnych, reprezentujące zmienne pierwotne, umieszczone na płaszczyźnie wyznaczonej przez dwie wybrane składowe główne.

Współrzędne końca wektora: to odpowiadające im ładunki czynnikowe zmiennych.
Długość wektora: reprezentuje zasób informacyjny zmiennej pierwotnej, jaki niosą składowe główne wyznaczające układ współrzędnych – im dłuższy wektor, tym większy wkład zmiennej pierwotnej w budowę składowych. W przypadku analizy opartej na macierzy korelacji ładunki są korelacjami pomiędzy zmiennymi pierwotnymi a składowymi, więc punkty wpadają do koła jednostkowego (współczynnik korelacji nie może przekroczyć jedynki). Im dana zmienna pierwotna leży bliżej brzegu tego koła, tym lepsza jest jej reprezentacja przez przedstawione składowe główne.
Znak współrzędnych końca wektora: czyli znak ładunku czynnikowego, wskazuje na dodatnią lub ujemną korelację zmiennej pierwotnej i składowych głównych tworzących układ współrzędnych. Rozpatrując łącznie obie osie (2 składowe), zmienne pierwotne można zakwalifikować do jednej z czterech kategorii, w zależności od kombinacji znaków (\(+/-\)) ich ładunków czynnikowych.
Kąt między wektorami: wskazuje na skorelowanie zmiennych pierwotnych:
\(0<\alpha<90^0\): im kąt pomiędzy wektorami reprezentującymi zmienne pierwotne jest mniejszy, tym silniejsza jest dodatnia korelacja pomiędzy tymi zmiennymi.
\(\alpha=90^0\) – wektory są prostopadłe, czyli zmienne pierwotne nie są skorelowane.
\(90^0<\alpha<180^0\) – im kąt pomiędzy wektorami reprezentującymi zmienne pierwotne jest większy, tym silniejsza jest ujemna korelacja pomiędzy tymi zmiennymi.

Biplot przedstawia dwie serie danych umieszczone w układzie współrzędnych wyznaczonym przez dwie składowe główne: pierwszą serię stanowią dane z wykresu ładunków czynnikowych (wektory zmiennych pierwotnych), a drugą – punkty przedstawiające poszczególne przypadki.

Współrzędne punktów: interpretujemy jak wartości zestandaryzowane, tzn. współrzędne dodatnie wskazują na wartość wyższą od średniej wartości składowej głównej, ujemne – na wartość niższą, a im wyższa wartość bezwzględna, tym dalej punkt znajduje się od średniej. Jeśli na wykresie znajdują się obserwacje nietypowe (odstające), mogą one zaburzać analizę i powinny zostać usunięte, a analiza przeprowadzona ponownie.
Odległości między punktami: wskazują na podobieństwo przypadków – im bliżej (w sensie odległości euklidesowej) znajdują się względem siebie punkty, tym bardziej podobne informacje niosą porównywane przypadki.
Rzuty prostopadłe punktów na wektory: interpretuje się tak samo jak współrzędne punktów, z tą różnicą, że dotyczą one nie składowych głównych, a zmiennych pierwotnych. Wartości po stronie końca wektora są większe od średniej wartości zmiennej pierwotnej, a wartości na przedłużeniu wektora w kierunku przeciwnym są mniejsze od średniej.

Kryteria redukcji wymiarów
Nie istnieje jedno uniwersalne kryterium wyboru liczby składowych głównych, dlatego dobrze jest kierować się kilkoma metodami jednocześnie.

Procent wyjaśnionej wariancji

Wszystkie składowe główne razem niosą 100% wariancji zmiennych pierwotnych. Jeśli suma wariancji kilku pierwszych składowych stanowi znaczną część całkowitej wariancji, wówczas te składowe mogą w zadowalającym stopniu zastąpić zmienne pierwotne. Przyjmuje się, że wariancja powinna zostać odzwierciedlona w wybranych składowych głównych w ponad 80%.

Kryterium Kaisera

Zgodnie z tym kryterium do interpretacji pozostawia się te składowe główne, które mają przynajmniej taką wariancję, jak dowolna wystandaryzowana zmienna pierwotna (czyli wariancję równą 1). Innymi słowy, ważne są tylko składowe, których wartość własna przekracza lub jest bliska wartości 1.

Wykres osypiska

Przedstawia tempo spadku wartości własnych (procentu wyjaśnionej wariancji) dla kolejnych składowych.

Moment na wykresie, w którym proces ten stabilizuje się i linia malejąca przechodzi w poziomą, to tzw. koniec osypiska. Składowe znajdujące się na prawo od tego punktu reprezentują znikomą wariancję i przedstawiają w większości losowy szum.

Wyznaczenie składowych głównych
Gdy zdecydujemy, ilu składowych głównych będziemy potrzebować, możemy przystąpić do ich wygenerowania. Składowe główne powstałe w oparciu o macierz korelacji są wyliczane jako kombinacja liniowa wystandaryzowanych zmiennych pierwotnych, natomiast te powstałe w oparciu o macierz kowariancji – jako kombinacja liniowa zmiennych pierwotnych wycentrowanych względem średniej.

Sprawdzanie zasadności stosowania analizy
Zanim przystąpimy do wyznaczania i interpretowania składowych głównych, warto sprawdzić, czy analiza w ogóle ma sens, czyli czy zmienne pierwotne są ze sobą wystarczająco skorelowane. Służą do tego test Bartletta oraz współczynnik Kaisera-Mayera-Olkina (KMO).

Test Bartletta: Weryfikuje hipotezę, że współczynniki korelacji pomiędzy zmiennymi są zerowe (czyli macierz korelacji jest macierzą jednostkową). Istotny statystycznie wynik testu (wartość \(p\) niższa niż przyjęty poziom istotności \(\alpha\)) świadczy o tym, że zmienne pierwotne są znacząco skorelowane, a więc przeprowadzenie analizy składowych głównych ma sens.
Współczynnik Kaisera-Mayera-Olkina (KMO): Ocenia stopień skorelowania zmiennych pierwotnych, czyli siłę przesłanek za sensownością przeprowadzania analizy składowych głównych. Wartość współczynnika należy do przedziału \(<0,1>\) – wartości niskie świadczą o braku podstaw do przeprowadzania analizy, a wartości wysokie są przesłanką do jej przeprowadzenia.

Jak ustawić analizę

Okno z ustawieniami opcji Analizy składowych głównych wywołujemy poprzez menu Statystyki \(\to\) Modele wielowymiarowe \(\to\) Analiza składowych głównych.

Wykonanie i interpretacja

Przykład 1. (plik: iris.pqs)
Ten klasyczny zestaw danych pierwotnie ukazał się w pracy R.A. Fishera 1936[59], gdzie przedstawiona została analiza dyskryminacyjna. Plik zawiera pomiary (w centymetrach) długości i szerokości płatków i działek kielicha dla 3 odmian kwiatu irysa. Poddane badaniu gatunki to setosa, versicolor i virginica. Interesujące jest określenie sposobu rozróżniania tych gatunków na bazie uzyskanych pomiarów.

Rycina pochodzi z pracy Lee i innych (2006r): "Application of a noisy data classification technique to determine the occurrence of flashover in compartment fires"

Analiza składowych głównych pozwoli wskazać te pomiary (długości i szerokości płatków i działek kielicha), które dają badaczowi najwięcej informacji o obserwowanych kwiatach.
Pierwszym etapem, wykonywanym jeszcze przed przystąpieniem do wyznaczania i analizowania składowych, jest sprawdzenie celowości przeprowadzenia tej analizy. Zaczynamy więc od wyznaczenia macierzy korelacji zmiennych oraz przeanalizowania uzyskanych korelacji przy wykorzystaniu testu Bartletta i współczynnika KMO.

Test Bartletta istotny statystycznie; KMO \(=0.54\)

Zmienne pierwotne są znacząco skorelowane (macierz korelacji istotnie różni się od macierzy jednostkowej), a przeciętna wartość współczynnika KMO wystarczająco potwierdza sensowność przeprowadzenia analizy składowych głównych.

Pierwszym wynikiem tej analizy, na który należy zwrócić szczególną uwagę, są wartości własne:

Uzyskane wartości własne wskazują, że dwie, a nawet jedna składowa główna w dobry sposób opiszą nasze dane. Wartość własna dla pierwszej składowej wynosi 2.92, a procent wyjaśnionej przez nią wariancji to 72.96%. Druga składowa wyjaśnia już znacznie mniej wariancji, bo 22.85%, a jej wartość własna to 0.91. Według kryterium Kaisera wystarczająca do interpretacji jest tylko jedna składowa główna, gdyż tylko dla pierwszej wartość własna jest większa niż 1. Patrząc jednak na wykres osypiska, można wysnuć wniosek, że linia spadkowa przechodzi w poziomą dopiero od trzeciej składowej głównej.

Zgodnie z tym wskazaniem, dwie pierwsze składowe wnoszą istotną informację – łącznie wyjaśniają aż 95.81% wariancji (patrz kolumna % skumulowany).
Zasoby zmienności wspólnej dla pierwszej składowej są wysokie dla wszystkich zmiennych pierwotnych, za wyjątkiem zmiennej szerokość działki, dla której wynoszą 21.17%. Oznacza to, że gdybyśmy pozostali przy interpretacji tylko pierwszej składowej, zmienna szerokość działki zostałaby odzwierciedlona w niewielkim stopniu.

Dla dwóch pierwszych składowych zasoby zmienności wspólnej są już na podobnym, bardzo wysokim poziomie – dla każdej z analizowanych zmiennych przekraczają 90%, czyli wariancja każdej zmiennej jest reprezentowana przy użyciu tych dwóch składowych w ponad 90%. Zebrawszy całą tę wiedzę, zdecydowano się na wyodrębnienie i interpretację 2 składowych.
By przyjrzeć się dokładniej powiązaniu składowych głównych i zmiennych pierwotnych, czyli długości i szerokości płatków i działek kielicha, interpretujemy: wektory własne, ładunki czynnikowe oraz wkłady zmiennych.

Poszczególne zmienne pierwotne w różny sposób oddziałują na pierwszą składową główną. Ułóżmy je kolejno według wielkości tego wpływu:

Długość płatka jest ujemnie skorelowana z pierwszą składową, a zatem im dłuższy płatek, tym niższe wartości tej składowej. Wektor własny dla długości płatka jest największy w tej składowej i wynosi \(-0.58\). Jego ładunek czynnikowy informuje, że korelacja pomiędzy pierwszą składową główną a długością płatka jest bardzo wysoka i wynosi \(-0.99\), co daje 33.69% wkładu w pierwszą składową;
Szerokość płatka ma nieco tylko mniejszy wpływ na pierwszą składową i jest z nią również ujemnie skorelowana;
Długość działki interpretujemy podobnie jak poprzednie dwie zmienne, ale jej wpływ na pierwszą składową jest mniejszy;
Szerokość działki jest najsłabiej skorelowana z pierwszą składową, a znak tej korelacji jest dodatni.

Druga składowa reprezentuje głównie zmienną pierwotną szerokość działki – pozostałe zmienne pierwotne są w niej odzwierciedlone w niewielkim stopniu. Wektor własny, ładunek czynnikowy oraz wkład zmiennej szerokość działki są w składowej drugiej najwyższe.
Każda składowa główna wyznacza homogeniczną grupę zmiennych pierwotnych. Pierwszą składową nazwiemy „rozmiar płatka”, gdyż najbardziej znaczącymi dla niej zmiennymi są te niosące informacje o płatku, choć trzeba zaznaczyć, że długość działki również znacznie wpływa na wartość tej składowej. W interpretacji pamiętamy, że im większe są wartości tej składowej, tym mniejsze są płatki. Drugą składową nazwiemy natomiast „szerokość działki”, gdyż tylko szerokość działki w większym stopniu odzwierciedlona jest w drugiej składowej. Przy czym im większe są wartości tej składowej, tym węższa jest działka.
Ostatecznie składowe wygenerujemy, wybierając w oknie analizy opcję: Dołącz składowe główne. Fragment uzyskanego wyniku przedstawiamy poniżej:

Aby dwie pierwsze składowe można było wykorzystać zamiast czterech wcześniejszych zmiennych pierwotnych, ostatecznie przeklejamy je do arkusza danych. Dalsze planowane przez siebie statystyki badacz może teraz przeprowadzić na dwóch nowych, nieskorelowanych zmiennych.

Analiza wykresów dwóch pierwszych składowych: Analiza wykresów nie dość, że doprowadzi badacza do tych samych wniosków co analiza tabel, to da możliwość wnikliwszej oceny uzyskanych wyników.
Wykres ładunków czynnikowych: Wykres przedstawia dwie pierwsze składowe główne, które reprezentują 72.96% i 22.85% wariancji, co daje łącznie 95.81% wariancji zmiennych pierwotnych.
Wektory reprezentujące zmienne pierwotne nieomalże sięgają brzegów koła jednostkowego (koła o promieniu 1), a zatem wszystkie są bardzo dobrze reprezentowane przez dwie pierwsze składowe główne tworzące układ współrzędnych.
Kąt pomiędzy wektorami obrazującymi długość płatka, szerokość płatka i długość działki jest niewielki, co oznacza duże skorelowanie tych zmiennych. Skorelowanie zaś tych zmiennych ze składowymi tworzącymi układ jest negatywne – wektory znajdują się w III ćwiartce układu, przy czym wyższe wartości współrzędnych końca wektora obserwowane są dla składowej pierwszej niż drugiej. Takie ułożenie wektorów świadczy o tym, że tworzą one grupę jednorodną, reprezentowaną głównie przez składową pierwszą.
Zupełnie inny kierunek wskazuje wektor dotyczący szerokości działki, który jest w niewielkim stopniu skorelowany z pozostałymi zmiennymi pierwotnymi, o czym świadczy kąt nachylenia do pozostałych zmiennych, bliski kątowi prostemu. Skorelowanie tego wektora z pierwszą składową jest pozytywne i niezbyt wysokie (niska wartość pierwszej współrzędnej końca wektora), a z drugą składową – negatywne i wysokie (wysoka wartość drugiej współrzędnej końca wektora). Wnioskujemy z tego, że szerokość działki jako jedyna zmienna pierwotna jest dobrze reprezentowana przez drugą składową.
Biplot: Biplot przedstawia dwie serie danych rozpięte na dwóch pierwszych składowych. Jedną serią są wektory zmiennych pierwotnych, przedstawione już na poprzednim wykresie, a drugą – punkty niosące informacje o poszczególnych kwiatach, przy czym wartości drugiej serii odczytujemy na górnej osi \(X\) i prawej osi \(Y\). Sposób interpretacji wektorów, czyli pierwszej serii, omówiliśmy przy poprzednim wykresie. By zrozumieć interpretację punktów, skupimy się na kwiatach o numerze 33 i 34 oraz o numerze 109.
Kwiaty o numerze 33 i 34 są do siebie podobne – odległość między nimi jest niewielka. Oba punkty mają sporo większą niż przeciętna wartość pierwszej i sporo mniejszą niż przeciętna wartość drugiej składowej. Wartość przeciętna, czyli średnia arytmetyczna obu składowych, wynosi 0, więc jest to środek układu współrzędnych. Pamiętając, że pierwsza składowa to głównie rozmiar płatków, a druga – szerokość działki, możemy powiedzieć, że kwiaty 33 i 34 mają niewielkie płatki i dużą szerokość działki. Natomiast kwiat 109 reprezentuje punkt znacznie oddalony od pozostałych dwóch. Jest to kwiat o ujemnej pierwszej składowej i dodatniej, lecz niewysokiej, drugiej składowej, a więc kwiat o stosunkowo dużych płatkach i szerokości działki nieco tylko mniejszej niż przeciętna.
Podobne informacje uzyskamy, rzutując punkty na linie przedłużające wektory zmiennych pierwotnych. Przykładowo kwiat 33 wykazuje się dużą szerokością działki (wysokie i dodatnie wartości rzutowania na zmienną pierwotną szerokość działki), ale niskimi wartościami pozostałych zmiennych pierwotnych (ujemne wartości rzutowania na przedłużenie wektorów obrazujących pozostałe zmienne pierwotne).

DLA ZAINTERESOWANYCH

Wzory:
Poszczególne składowe główne są kombinacją liniową zmiennych pierwotnych:

\[ Z_i=a_{i1}X_1+a_{i2}X_2+...+a_{in}X_p \]

gdzie:
\(X_1,X_2,...,X_p\) – zmienne pierwotne,
\(a_{i1}, a_{i2},...,a_{ip}\) – współczynniki \(i\)-tej składowej głównej.

Obliczenia matematyczne pozwalające wyodrębnić składowe główne sprowadzają się do wyznaczenia wartości własnych i odpowiadających im wektorów własnych z równania macierzowego postaci:

\[ (M-\lambda I)a=0 \]

gdzie:
\(\lambda\) – wartości własne,
\(a_i=(a_{i1}, a_{i2},...,a_{ip})\) – wektor własny odpowiadający \(i\)-tej wartości własnej,
\(M\) – macierz wariancji lub kowariancji zmiennych pierwotnych \(X_1,X_2,...,X_p\),
\(I\) – macierz identycznościowa (1 na głównej przekątnej, 0 poza nią).

Procent zmienności wyjaśniany przez \(i\)-tą składową główną wyraża się wzorem:

\[ \frac{\lambda_i}{\lambda_1+\lambda_2+...+\lambda_p}\cdot 100\%. \]

Test Bartletta

Hipotezy:

\(\begin{array}{cl} \mathcal{H}_0: & M = I, \\ \mathcal{H}_1: & M \ne I. \end{array}\)

gdzie:
\(M\) – macierz wariancji lub kowariancji zmiennych pierwotnych \(X_1,X_2,...,X_p\),
\(I\) – macierz jednostkowa (1 na głównej przekątnej, 0 poza nią).

Wzory:
Statystyka testowa ma postać:

\[ \chi^2=-\left(n-1-\frac{2p+5}{6}\right)\sum_{i=1}^k \ln\lambda_i, \]

gdzie:
\(p\) – liczba zmiennych pierwotnych,
\(n\) – liczność (liczba przypadków),
\(\lambda_i\) – \(i\)-ta wartość własna.

Statystyka ta ma asymptotycznie (dla dużych liczności oczekiwanych) rozkład \(\chi^2\) z \(p(p-1)/2\) stopniami swobody.

Wyznaczoną na podstawie statystyki testowej wartość \(p\) porównujemy z poziomem istotności \(\alpha\):

\[ \begin{array}{ccl} \text{ jeżeli } p \le \alpha & \Longrightarrow & \text{ odrzucamy } \mathcal{H}_0 \text{ przyjmując } \mathcal{H}_1, \\ \text{ jeżeli } p > \alpha & \Longrightarrow & \text{ nie ma podstaw, aby odrzucić } \mathcal{H}_0. \\ \end{array}\]

Współczynnik Kaisera-Mayera-Olkina – wzór:

\[ KMO=\frac{\sum_{i\ne j}^p\sum_{j\ne i}^p r_{ij}^2}{\sum_{i\ne j}^p\sum_{j\ne i}^p r_{ij}^2+\sum_{i\ne j}^p\sum_{j\ne i}^p \hat{r}_{ij}^2}, \]

gdzie:
\(r_{ij}\) – współczynnik korelacji pomiędzy \(i\)-tą a \(j\)-tą zmienną,
\(\hat{r}_{ij}\) – współczynnik korelacji cząstkowej pomiędzy \(i\)-tą a \(j\)-tą zmienną.