WIELOKROTNE PORÓWNANIA

Kiedy stosować:

Jednoczesne testowanie wielu hipotez (tzw. rodziny hipotez) pociąga za sobą niebezpieczeństwo wzrostu błędu \(\alpha\), co stanowi główny problem w dziedzinie wielokrotnych porównań. Gdy błąd \(\alpha\) wzrasta, oznacza to, że zbyt często odrzucamy hipotezę zerową, gdy jest ona prawdziwa – czyli zbyt często wskazujemy na istnienie różnic, podczas gdy w rzeczywistości różnice nie występują. Aby chronić przed wzrostem \(\alpha\), jedną ze strategii jest poprawienie (zmniejszenie) poziomu \(\alpha\) lub odpowiednie poprawienie (zwiększenie) wartości \(p\) testów.

Uwaga! Rodzina hipotez może być zdefiniowana na wiele sposobów. Najczęściej są to hipotezy w ramach procedury POST-HOC, czyli wykonywania wielu testów w ramach jednoczesnego porównania kilku badanych grup. Taką rodzinę stanowić mogą również testy wykonywane w ramach analizy typu Hotelling. Rodziny hipotez występują również w wielu analizach geograficznych. Wszędzie tam, gdzie w ramach ogólnej hipotezy analizujemy wiele pomniejszych hipotez, korekta wielokrotnych porównań może mieć zastosowanie.

Jak ustawić analizę

By wykonać korektę wielokrotnych porównań, do jednej kolumny arkusza danych wprowadzamy kolejne wartości \(p\). Okno z ustawieniami opcji wielokrotnych porównań wywołujemy poprzez menu Statystyka\(\to\)Korekta wielokrotnych porównań.

Wykonanie i interpretacja

Kontynuacja przykładu 1 (plik satysfakcjaZpracy.pqs): w badaniu tym sprawdzano, czy poziom satysfakcji z wykonywanej pracy jest taki sam dla czterech kategorii wykształcenia. Rodzinę hipotez tworzyły tu hipotezy wynikające z porównania wszystkich grup parami. By porównać wszystkie 4 grupy, utworzono 6 par porównań – w każdym przypadku hipoteza zerowa dotyczyła braku różnic w poziomie satysfakcji w analizowanej parze. By wykorzystać kilka zaproponowanych korekt wielokrotnych porównań, analizę przeprowadzono przy pomocy nieskorygowanego testu POST-HOC Dunna.

Uzyskane w ten sposób wartości \(p\) podano jako dane do korekty wielokrotnych porównań, otrzymując następujące wyniki:

istotne statystycznie różnice dla 2 (lub 3, przy korekcie Benjamini-Hochberg) z 6 par porównań, \(\alpha=0.05\)

Różnice dotyczą satysfakcji z pracy dla wykształcenia podstawowego vs średniego oraz podstawowego vs wyższego.

Tylko przy zastosowaniu korekty Benjamini-Hochberg różnice można zlokalizować w trzech parach porównań.

Inne przykłady zastosowania korekty wielokrotnych porównań: Przykład 1 oraz Przykład 2 (analiza typu Hotelling).

DLA ZAINTERESOWANYCH

Jeżeli liczbę testowanych hipotez oznaczymy przez \(c\), wówczas korekty dotyczące wielokrotnych porównań można opisać następująco:

Korekta Bonferroniego
Najbardziej znana i jednocześnie najbardziej konserwatywna z korekt[2]. Polega na pomnożeniu każdego z prawdopodobieństw testowych przez całkowitą liczbę przeprowadzonych badań (lub podzieleniu poziomu istotności przez tę liczbę).
Wzór – korekta wartości \(p\):

\[ p_{(Bonferroni,i)}=p_i\cdot c \]

Wzór – korekta poziomu istotności \(\alpha\):

\[ \alpha_{(Bonferroni, i)}=\frac{\alpha_i}{c} \]

Korekta Sidaka
Korekta Sidaka (1967)[153] ma większą moc niż korekta Bonferroniego, dlatego jest coraz chętniej wykorzystywana.
Wzór – korekta wartości \(p\):

\[ p_{(Sidak, i)}=1-(1-p_i)^{c} \]

Wzór – korekta poziomu istotności \(\alpha\):

\[ \alpha_{(Sidak, i)}=1-(1-\alpha_i)^{1/c} \]

Korekta Bonferroniego-Holma
Polega na wykorzystaniu kilkukrokowej procedury Holma (1979)[82] do poprawki Bonferroniego. Procedura ta rozpoczyna się od posortowania w sposób rosnący kolejnych wartości \(p_i\) \((p_1, p_2,...p_c)\). Następnie zastosowana jest korekta Bonferroniego do każdej kolejnej wartości \(p_i\) (przy odpowiednim zmniejszeniu liczby hipotez, jaka została do przetestowania). W rezultacie wszystkie hipotezy testowane po pierwszej nieistotnej statystycznie wartości \(p_i\) są również nieistotne.
Wzór – korekta wartości \(p\):

\[ p_{(Bonferroni, i)}=p_i\cdot (c-i+1) \]

Korekta Sidaka-Holma
Polega na wykorzystaniu kilkukrokowej procedury Holma do poprawki Sidaka, analogicznie do korekty Bonferroniego-Holma powyżej.
Wzór – korekta wartości \(p\):

\[ p_{(Sidak, i)}=1-(1-p_i)^{c-i+1} \]

Korekta Bonferroniego-Hochberga
Polega na wykorzystaniu kilkukrokowej procedury Hochberga (1988)[35] do poprawki Bonferroniego. Procedura ta rozpoczyna się od posortowania w sposób malejący kolejnych wartości \(p_i\) \((p_c,p_{c-1},...,p_1)\). Następnie zastosowana jest korekta Bonferroniego do każdej kolejnej wartości \(p_i\) (przy odpowiednim zmniejszeniu liczby hipotez, jaka została do przetestowania). W rezultacie wszystkie hipotezy testowane po pierwszej nieistotnej statystycznie wartości \(p_i\) są również nieistotne.
Wzór – korekta wartości \(p\):

\[ p_{(Bonferroni, i)}=p_i\cdot (c-i+1) \]

Korekta Sidaka-Hochberga
Polega na wykorzystaniu kilkukrokowej procedury Hochberga do poprawki Sidaka, analogicznie do korekty Bonferroniego-Hochberga powyżej.
Wzór – korekta wartości \(p\):

\[ p_{(Sidak, i)}=1-(1-p_i)^{c-i+1} \]

Korekta Benjamini-Hochberga
Polega na wykorzystaniu kilkukrokowej procedury Hochberga do poprawki Benjamini (1995)[19], będącej zmodyfikowaną wersją poprawki Bonferroniego. Procedura ta rozpoczyna się od posortowania w sposób malejący kolejnych wartości \(p_i\) \((p_c,p_{c-1},...,p_1)\). Następnie zastosowana jest korekta Benjamini do każdej kolejnej wartości \(p_i\) (przy odpowiednim zmniejszeniu liczby hipotez, jaka została do przetestowania). W rezultacie wszystkie hipotezy testowane po pierwszej nieistotnej statystycznie wartości \(p_i\) są również nieistotne. Spośród zaproponowanych korekt charakteryzuje się największą mocą – nie kontroluje bezpośrednio błędu \(\alpha\), ale minimalizuje oczekiwany odsetek fałszywych różnic wśród różnic wykrytych.
Wzór – korekta wartości \(p\):

\[ p_{(BH, i)}=p_i\frac{c}{i} \]