PQStat Podręcznik Użytkownika PQStat English pqstat.pl

Moc i liczność dla testu

Kiedy stosować:

Zanim przeprowadzimy badanie (lub gdy już je przeprowadziliśmy), warto wiedzieć, czy zastosowany test statystyczny w ogóle miał szansę wykryć interesującą nas różnicę, związek czy zależność. Do tego właśnie służy analiza mocy testu i wyznaczanie niezbędnej liczności próby.
Testując hipotezy, możemy popełnić dwa rodzaje pomyłek: uznać, że coś się różni, choć w rzeczywistości nie ma różnicy (błąd I rodzaju, oznaczany \(\alpha\)), albo przeoczyć realną różnicę, uznając, że jej nie ma (błąd II rodzaju, oznaczany \(\beta\)). Moc testu to zdolność testu do wykrycia różnicy, związku, zgodności czy innej zależności opisanej w hipotezie alternatywnej – innymi słowy, to prawdopodobieństwo, że test poprawnie „zauważy” efekt, który naprawdę istnieje w populacji. Nie wszystkie testy są tak samo skuteczne – jedne są „czulsze” (mocniejsze), inne „mniej czułe” (słabsze), dlatego mając do wyboru kilka testów pasujących do tego samego problemu, warto sięgnąć po ten o większej mocy.
Sprawdzenie mocy testu można wykonać a priori, czyli jeszcze przed zebraniem danych – wtedy planujemy, ile osób/obiektów będziemy potrzebować, by mieć realną szansę wykrycia efektu, który nas interesuje. Można to też zrobić a posteriori, czyli już po zebraniu próby – często robią to recenzenci prac lub sami badacze, by ocenić, na ile wiarygodny jest uzyskany (zwłaszcza nieistotny statystycznie) wynik. Niska moc oznacza, że wyniki mogą być niejednoznaczne – inny badacz, powtarzając eksperyment, łatwo mógłby uzyskać odmienny rezultat. Wysoka moc oznacza, że wynik jest solidny – trudno będzie go podważyć. Przykładowo: jeśli przy pomocy testu o mocy 80% wykazujemy, że dwie grupy studentów różnią się istotnie statystycznie liczbą poprawnie rozwiązanych zadań, oznacza to, że powtarzając ten sam eksperyment (ta sama wielkość próby, ten sam test, ten sam poziom istotności) w 80% przypadków inni badacze również potwierdziliby tę różnicę.
W programie PQStat możemy iść w dwie strony: obliczyć moc testu, podając liczność próby, albo obliczyć niezbędną liczność próby, podając moc testu, jaką chcemy osiągnąć.

Warunki stosowania

  • znajomość zasad stosowania testu, dla którego liczymy moc lub liczność (jego hipotez, założeń, sposobu interpretacji),
  • umiejętność określenia wielkości efektu, jaki chcemy być w stanie wykryć – najlepiej na podstawie danych pilotażowych, wcześniejszych badań lub wiedzy merytorycznej o badanym zjawisku.

Definicje miar

Moc testu i niezbędna liczność próby są ze sobą ściśle powiązane, a dodatkowo zależą od kilku innych elementów, które musimy ustalić:

  • Wielkość efektu \(ES\) (ang. effect size) – czyli to, jak dużą różnicę, zależność czy zgodność uznajemy za wartą wykrycia. Im większy efekt, tym łatwiej go wykazać – rośnie więc moc testu, a potrzebna liczność próby maleje. Na przykład łatwiej przekonać, że dwie grupy się różnią, gdy różnica wynosi pięć poprawnie rozwiązanych zadań, niż gdy wynosi zaledwie jedno zadanie. Wielkość efektu zwykle trzeba zestandaryzować (np. przy pomocy odchylenia standardowego czy współczynnika korelacji), dlatego do obliczeń często potrzebne są dodatkowe informacje o zmienności danych.
  • Poziom istotności statystycznej \(\alpha\) (błąd I rodzaju) – im większy poziom istotności, tym większa moc testu. To jednak element, na który mamy tylko pozorny wpływ – rzadko zdarza się sytuacja, w której wolno go swobodnie zmieniać, a jeśli już, to zwykle w kierunku jego zmniejszenia (patrz Wielokrotne porównania). Standardowo przyjmuje się \(\alpha=0,05\).
  • Kierunek hipotezy, czyli hipoteza dwustronna (równość w hipotezie zerowej) lub jednostronna (znak \(<\) lub \(>\) w hipotezie zerowej). Hipoteza jednostronna daje większą moc, ale rzadziej się ją stosuje – w praktyce rzadko zakładamy z góry, że jedna grupa nie ma żadnych szans „wygrać” z drugą; częściej dajemy obu grupom równe szanse.
  • Moc testu wyraża się prostym wzorem \(Moc=1-\beta\), gdzie \(\beta\) (błąd II rodzaju) to prawdopodobieństwo przyjęcia hipotezy zerowej, gdy w rzeczywistości jest ona fałszywa.

Moc testu jest też ściśle związana z licznością próby \(n\) – im liczniejsza próba, tym większa moc: im więcej osób/obiektów zbierzemy do badania, tym łatwiej będzie przekonać, że wykryte różnice między grupami nie są dziełem przypadku, lecz rzeczywiście występują w populacjach. Dlatego zamiast (lub obok) mocy testu badacz może chcieć wyznaczyć niezbędną liczność próby, potrzebną, by przy zadanej wielkości efektu osiągnąć określoną moc testu.

Jak ustawić analizę

Okno z ustawieniami opcji mocy testu i niezbędnej liczności próby dla wybranego testu wywołujemy poprzez menu Statystyka zaawansowana\(\to\)Moc testu i liczność próby\(\to\)Moc i liczność dla testu.

Analiza mocy jest bezpośrednio związana z konkretnymi testami statystycznymi, dlatego w oknie tym wybieramy najpierw interesujący nas test, a następnie – w zależności od potrzeb – podajemy liczność próby (by uzyskać moc testu) albo zadaną moc testu (by uzyskać niezbędną liczność próby), a także pozostałe, właściwe dla danego testu, informacje: wielkość efektu (lub dane, na podstawie których można ją wyliczyć), poziom istotności \(\alpha\) oraz kierunek hipotezy. Poniżej opisano szczegółowo, jakich danych wymaga analiza mocy i liczności dla poszczególnych testów dostępnych w programie – wraz z przykładami ich zastosowania.

Test t-Studenta dla pojedynczej próby

Kiedy stosować:

Analizę mocy i niezbędnej liczności próby dla testu \(t\)-Studenta dla pojedynczej próby wykonujemy wtedy, gdy planujemy (lub już wykonaliśmy) porównanie średniej z próby do zadanej wartości hipotetycznej, i chcemy wiedzieć, jak liczną próbę zebrać (lub jaką mamy moc wykrycia różnicy). Zanim przystąpimy do obliczeń, warto zapoznać się z zasadami stosowania tego testu.
Zadana wielkość efektu to w tym przypadku wielkość różnicy między średnią populacji badanej a hipotetyczną wartością średnią. Moc testu oraz niezbędna liczność próby wyliczane są w oparciu o niecentralny rozkład t-Studenta.

Jak ustawić analizę

Do wyznaczenia mocy testu i niezbędnej liczności próby potrzebujemy podać:

Moc testuLiczność grupy
Liczność grupyMoc testu
Średnia hipotetyczna
Średnia grupy
Odchylenie standardowe grupy
Poziom istotności \(\alpha\)

Wykonanie i interpretacja

Przykład 1. Chcemy sprawdzić (na poziomie istotności 0.05) czy czas oczekiwania na dostarczenie przesyłki przez pewną firmę kurierską to przeciętnie 3 dni (tzn. 72 godziny).

Badanie a priori – planujemy przeprowadzić badanie, ale nie zebraliśmy jeszcze danych. Moc testu, jaką chcemy uzyskać, ustalamy na poziomie 80%. Odchylenie standardowe, które podamy, powinno odzwierciedlać różnice w czasie dostarczenia przesyłki, jakich spodziewamy się w planowanym badaniu – zakładamy (na bazie doświadczeń pracowników firmy), że wyniesie ono 1 dzień (24 h).
a) Jaka będzie niezbędna liczność próby, gdy założymy, że wielkość efektu, przy którym chcielibyśmy uzyskać istotność statystyczną, wynosi 12 godzin (0.5 dnia)?
b) Jaka będzie niezbędna liczność próby, gdy założymy, że wielkość efektu, przy którym chcielibyśmy uzyskać istotność statystyczną, wynosi 6 godzin (0.25 dnia)?
Odp a) Wiemy, że zakres od 2.5 do 3.5 dnia mieści się w granicach dopuszczonego błędu. Jako średnią hipotetyczną podajemy więc 3 dni, a jako średnią grupy badanej 2.5 dnia (lub 3.5 dnia).

Niezbędna liczność = 34 przesyłki
Tyle przesyłek trzeba zebrać, by udowodnić, że efekt przekraczający 12 godzin jest istotny statystycznie.

Odp b) Wiemy, że zakres od 2.75 do 3.25 dnia mieści się w granicach dopuszczonego błędu. Jako średnią hipotetyczną podajemy więc 3 dni, a jako średnią grupy badanej 2.75 dnia (lub 3.25 dnia).

Niezbędna liczność = 128 przesyłek
Tyle przesyłek trzeba zebrać, by udowodnić, że efekt przekraczający 6 godzin jest istotny statystycznie.

Badanie a posteriori – zebraliśmy dane do badania – nasza próba zawiera 22 przesyłki (dane w pliku kurier.pqs). Na podstawie zebranych danych wyznaczamy średnią liczbę dni oczekiwania na dostarczenie przesyłki i odchylenie standardowe grupy. W naszym przypadku wynoszą one: średnia=3.727273, odchylenie=1.906925.
a) Jaka jest moc przeprowadzonej analizy?
b) Jak wyglądałaby moc, gdybyśmy zwiększali liczność próby do 100 elementów, pozostawiając niezmienione pozostałe założenia?
Odp a) Moc przeprowadzonej analizy wynosi zaledwie 0.400302.

Moc = 0.400302
Wiele losowych prób o liczności równej 22 (około 60% takich prób) nie doprowadzi do potwierdzenia hipotezy alternatywnej.

Odp b) Moc przeprowadzonej przez nas analizy wzrośnie do 0.965364, gdy jej liczność wzrośnie do 100 elementów, a założenia analizy się nie zmienią.

Jak zmienia się moc analizy przy zmieniającej się liczności próby i niezmienionych pozostałych założeniach, możemy zobaczyć na wykresie.

Test t-Studenta dla grup zależnych

Kiedy stosować:

Analizę mocy i niezbędnej liczności próby dla testu \(t\)-Studenta dla grup zależnych wykonujemy, planując lub oceniając badanie, w którym te same osoby/obiekty mierzone są dwukrotnie (np. przed i po interwencji). Zanim przystąpimy do obliczeń, warto zapoznać się z zasadami stosowania tego testu.
Zadana wielkość efektu to w tym przypadku wielkość różnicy między średnimi, jaką spodziewamy się uzyskać w populacji. Moc testu oraz niezbędna liczność próby wyliczane są w oparciu o niecentralny rozkład t-Studenta.

Jak ustawić analizę

Do wyznaczenia mocy testu i niezbędnej liczności próby potrzebujemy podać:

Moc testuLiczność grupy
Liczność grupyMoc testu
Średnia grupy (badania) 1
Średnia grupy (badania) 2
Odchylenie standardowe różnicy
(lub odchylenia obu grup
i wsp. korelacji Pearsona)
Poziom istotności \(\alpha\)

Wykonanie i interpretacja

Przykład 2. Chcemy sprawdzić (na poziomie istotności 0.05) czy leczenie zaburzeń odżywiania w pewnej klinice przynosi istotne zmniejszenie masy ciała już po 30 dniach stosowania nowego rodzaju diety. Za istotną zmianę masy ciała uznajemy zmianę wskaźnika BMI o pół jednostki. Jak dużą próbę należy zebrać, by różnica tej wielkości była istotna statystycznie w teście t-Studenta dla grup zależnych?

Ponieważ nie dysponujemy danymi z badania pilotażowego, podstawowe dane do obliczeń podamy na bazie doświadczeń i przypuszczeń pracowników kliniki. Zakładamy, że przeciętna wartość BMI osoby leczonej to 35 – taką wartość wpisujemy w polu dotyczącym pierwszej średniej. Ponieważ zmiana BMI o mniej niż połowę jednostki jest nieistotna klinicznie, dopiero spadek poniżej wartości 34.5 (lub wzrost powyżej wartości 35.5) będzie uznawany za istotny. Jako drugą średnią podajemy więc wartość 34.5 (lub 35.5). Przypuszczamy, że odchylenie standardowe różnicy (BMI przed i BMI po) może być dość duże, gdyż zwykle w grupie znajdą się osoby zdyscyplinowane, przestrzegające diety, i takie, które mimo wszystko pozwalają sobie na dodatkowe przekąski między posiłkami. Dlatego wielkość odchylenia ustalamy na 2.5. Moc analizy, jaką chcemy uzyskać, to 80%.

Niezbędna liczność = 199 osób (hipoteza dwustronna) lub 156 osób (hipoteza jednostronna)
Hipoteza dwustronna zakłada, że na skutek diety BMI może spaść lub wzrosnąć; hipoteza jednostronna zakłada jedynie spadek BMI.

Gdybyśmy założyli, że grupa będzie bardziej zdyscyplinowana i odchylenie standardowe różnicy wyniesie 1.5 jednostki BMI, wówczas próba będzie mogła być nieco mniejsza.

Niezbędna liczność = 73 osoby (hipoteza dwustronna) lub 58 osób (hipoteza jednostronna)
Mniejsze zakładane odchylenie standardowe różnicy pozwala uzyskać tę samą moc przy mniejszej próbie.

Test t-Studenta dla grup niezależnych

Kiedy stosować:

Analizę mocy i niezbędnej liczności próby dla testu \(t\)-Studenta dla grup niezależnych wykonujemy, planując lub oceniając badanie porównujące średnie w dwóch niezależnych grupach (np. chorzy i zdrowi). Zanim przystąpimy do obliczeń, warto zapoznać się z zasadami stosowania tego testu.
Zadana wielkość efektu to w tym przypadku wielkość różnicy między średnimi, jaką spodziewamy się uzyskać pomiędzy populacjami. Moc testu oraz niezbędna liczność próby wyliczane są w oparciu o niecentralny rozkład t-Studenta.

Jak ustawić analizę

Do wyznaczenia mocy testu i niezbędnej liczności próby potrzebujemy podać:

Moc testuLiczność grupy
Liczność grupy 1Moc testu
Liczność grupy 2
Średnia grupy 1
Średnia grupy 2
Wspólne odchylenie standardowe
(lub odchylenia obu grup*)
Poziom istotności \(\alpha\)
Uwaga! *Gdy znane są liczności obu grup, wspólne odchylenie standardowe wyznaczane jest dokładnym wzorem; gdy liczności nie są znane, stosowany jest uproszczony wzór Cohena (Cohen, J. (1988)[46]) – oba wzory podano w części „Dla zainteresowanych” na końcu rozdziału.

Wykonanie i interpretacja

Przykład 3. Badamy mężczyzn chorych na chorobę X i zdrowych. Chcemy sprawdzić (na poziomie istotności 0.05) czy chorzy różnią się od zdrowych poziomem cholesterolu HDL. Za istotną klinicznie różnicę uznajemy wielkość 2 mg/dl. Jak dużą próbę należy zebrać, by różnica tej wielkości była istotna statystycznie w teście t-Studenta dla grup niezależnych?

Jako średnią HDL dla mężczyzn chorych podajemy 40 mg/dl, a dla osób zdrowych 42 mg/dl. Stosunek liczności obu grup ustalamy na 1, ponieważ zakładamy grupy równoliczne. Dysponujemy danymi z badania pilotażowego, więc podajemy odchylenie standardowe dla chorych (13 mg/dl) i zdrowych (11 mg/dl), wskazując dodatkowe opcje . Moc analizy, jaką chcemy uzyskać, to 80%.

Niezbędna liczność = 571 osób (grupy równoliczne, n1/n2=1) lub n1=855, n2=428 (n1/n2=2)
Im mniej równoliczne mają być grupy, tym większa łączna liczba osób jest potrzebna do zachowania tej samej mocy testu.

Test chi-kwadrat wariancji pojedynczej próby

Kiedy stosować:

Analizę mocy i niezbędnej liczności próby dla testu chi-kwadrat wariancji pojedynczej próby wykonujemy, planując lub oceniając badanie porównujące zmienność (odchylenie standardowe) w próbie z zadaną wartością hipotetyczną. Zanim przystąpimy do obliczeń, warto zapoznać się z zasadami stosowania tego testu.
Zadana wielkość efektu to w tym przypadku iloraz odchylenia standardowego populacji badanej i odchylenia hipotetycznego. Moc testu oraz niezbędna liczność próby wyliczane są w oparciu o rozkład chi-kwadrat.

Jak ustawić analizę

Do wyznaczenia mocy testu i niezbędnej liczności próby potrzebujemy podać:

Moc testuLiczność grupy
Liczność grupyMoc testu
Hipotetyczne odchylenie standardowe
Odchylenie standardowe grupy
Poziom istotności \(\alpha\)

Wykonanie i interpretacja

Przykład 4. Przed przystąpieniem do produkcji kolejnej partii pewnego syropu przeciwkaszlowego należy dokonać kontrolnych pomiarów objętości syropu nalewanego do butelek. W butelkach powinno się znaleźć 200 ml syropu. Z dokumentacji technicznej urządzenia dozującego wynika, że dopuszczalny rozrzut objętości syropu mierzony za pomocą odchylenia standardowego wynosi 1 ml. Należy sprawdzić (na poziomie istotności 0.05), czy testowane urządzenie działa prawidłowo. Czy próbka składająca się z 20 butelek będzie wystarczająca, by wykazać nadmierny błąd urządzenia, jeśli taki zaistnieje? Za nadmierny błąd urządzenia uznano odchylenie standardowe przekraczające 1.2 ml.

Ponieważ oczekujemy, że odchylenie standardowe dla urządzenia dozującego będzie takie jak w dokumentacji, wpisujemy wartość 1 ml jako wartość hipotetyczną. Zbyt duży błąd uzyskamy wtedy, gdy odchylenie przekroczy 1.2 ml, i tę wartość wpisujemy w polu dotyczącym odchylenia standardowego grupy butelek, którą będziemy badać.
Jeśli próba będzie liczyła 20 butelek, uzyskana moc przy hipotezie dwustronnej wyniesie zaledwie 0.25, a przy hipotezie jednostronnej 0.34.

Moc = 0.25 (dwustronna) / 0.34 (jednostronna) dla n=20
Wartości niskie – mniej niż 35% losowych prób tej wielkości pozwoli wykryć przekroczenie rozrzutu o 0.2 ml. 20 butelek to zbyt mała grupa, by udowodnić zbyt duże odchylenie standardowe urządzenia, jeśli takie rzeczywiście zaistnieje.

Chcielibyśmy uzyskać standardową moc. By uzyskać moc równą 80%, zmieniamy ustawienia programu i wyliczamy niezbędną liczność.

Niezbędna liczność = 115 (dwustronna) / 92 (jednostronna) przy mocy 80%
Tyle butelek trzeba skontrolować, by przy zachowaniu mocy testu na poziomie 80% wykazać przekroczenie dopuszczalnego rozrzutu.

Test chi-kwadrat dwóch wariancji Fishera-Snedecora

Kiedy stosować:

Analizę mocy i niezbędnej liczności próby dla testu Fishera-Snedecora wykonujemy, planując lub oceniając badanie porównujące zmienność (odchylenie standardowe) między dwiema niezależnymi próbami. Zanim przystąpimy do obliczeń, warto zapoznać się z zasadami stosowania tego testu.
Zadana wielkość efektu to w tym przypadku iloraz odchylenia standardowego populacji pierwszej i drugiej. Moc testu oraz niezbędna liczność próby wyliczane są w oparciu o rozkład F-Snedecora.

Jak ustawić analizę

Do wyznaczenia mocy testu i niezbędnej liczności próby potrzebujemy podać:

Moc testuLiczność grupy
Liczność grupy 1Moc testu
Liczność grupy 2
Odchylenie standardowe grupy 1
Odchylenie standardowe grupy 2
Poziom istotności \(\alpha\)

Wykonanie i interpretacja

Przykład 5. Przed przystąpieniem do produkcji kolejnej partii pewnego syropu przeciwkaszlowego należy dokonać kontrolnych pomiarów objętości syropu nalewanego do butelek. W butelkach powinno się znaleźć 300 ml syropu. W rozlewni stosowane są dwa urządzenia dozujące. Chcemy sprawdzić (na poziomie istotności 0.05), czy rozrzut objętości syropu mierzony za pomocą odchylenia standardowego dla obu urządzeń jest taki sam. Przeprowadzono niewielkie badanie pilotażowe i ustalono, że odchylenie standardowe dla pierwszego urządzenia wynosi 1.32, a dla drugiego 1.1. Jeśli różnica będzie niewielka, tzn. iloraz obu odchyleń wyniesie poniżej 1.2 (tak jak w badaniu pilotażowym), oba urządzenia będą wykorzystywane zamiennie, jeśli nie – zostanie wybrane to z mniejszym odchyleniem od średniej. Ile losowo wybranych butelek należy zmierzyć, by móc wykazać, że iloraz wielkości 1.2 jest istotny statystycznie?

Wpisujemy wartości odchyleń standardowych uzyskanych w badaniu pilotażowym i zakładamy 80% mocy testu.

Niezbędna liczność = n1=n2=239 (grupy równoliczne, n1/n2=1) lub n1=363, n2=182 (n1/n2=2)
Tyle butelek dla każdego urządzenia trzeba zmierzyć, by przy 80% mocy testu wykazać istotny statystycznie iloraz odchyleń standardowych równy 1.2.

Test chi-kwadrat zgodności

Kiedy stosować:

Analizę mocy i niezbędnej liczności próby dla testu chi-kwadrat zgodności wykonujemy, planując lub oceniając badanie sprawdzające, czy rozkład danych w próbie jest zgodny z rozkładem oczekiwanym (teoretycznym lub hipotetycznym). Zanim przystąpimy do obliczeń, warto zapoznać się z zasadami stosowania tego testu.
Zadana wielkość efektu, czyli \(\phi\), to w tym przypadku pierwiastek z ilorazu statystyki testu chi-kwadrat i liczności grupy badanej – wzór podano w części „Dla zainteresowanych” na końcu rozdziału. Moc testu oraz niezbędna liczność próby wyliczane są w oparciu o niecentralny rozkład chi-kwadrat.

Jak ustawić analizę

Do wyznaczenia mocy testu i niezbędnej liczności próby potrzebujemy podać[46]:

Moc testuLiczność grupy
Liczność grupyMoc testu
Liczba kategorii
Wielkość efektu \(\phi\)
Poziom istotności \(\alpha\)

Test chi-kwadrat (RxC)

Kiedy stosować:

Analizę mocy i niezbędnej liczności próby dla testu chi-kwadrat dla tabel RxC wykonujemy, planując lub oceniając badanie sprawdzające zależność dwóch cech kategorialnych przedstawionych w tabeli o wielu wierszach i kolumnach. Zanim przystąpimy do obliczeń, warto zapoznać się z zasadami stosowania tego testu.
Zadana wielkość efektu, czyli \(\phi\), to w tym przypadku pierwiastek z ilorazu statystyki testu chi-kwadrat i liczności grupy badanej – wzór podano w części „Dla zainteresowanych” na końcu rozdziału. Moc testu oraz niezbędna liczność próby wyliczane są w oparciu o niecentralny rozkład chi-kwadrat.

Jak ustawić analizę

Do wyznaczenia mocy testu i niezbędnej liczności próby potrzebujemy podać[46][130]:

Moc testuLiczność grupy
Liczność grupyMoc testu
Liczba kategorii (wierszy)
Liczba kategorii (kolumn)
Wielkość efektu \(\phi\)
Poziom istotności \(\alpha\)

Wykonanie i interpretacja

Przykład 6. Istnieją plany przeprowadzenia szerokiego badania pokazującego stan wiedzy populacji Polski na temat sposobów walki z popularnymi wirusami. W ramach projektu należy ustalić czy działania edukacyjne informujące o nieskuteczności antybiotykoterapii w zakażeniach wirusowych były tak samo skuteczne w starszej grupie wiekowej (tzn. powyżej 50 roku życia) jak u młodszych dorosłych (18-50 lat). Przeprowadzono badanie pilotażowe i w losowo wybranej próbie 200 osób zadano pytanie: „Czy antybiotyki zwalczają wirusy?”. Respondenci mieli możliwość wskazania jednej z trzech odpowiedzi: „nie”, „nie wiem”, „tak”. Wyniki badania pilotażowego przygotowano do publikacji. Poniżej zamieszczono fragment opisu umieszczonego w pracy:

Uzyskana wartość p w teście chi-kwadrat była nieistotna statystycznie: p=0.0672. Słuszne zaskoczenie recenzenta pracy budzi informacja, iż dwukrotnie więcej osób powyżej 50 roku życia błędnie wskazało, że antybiotyki zwalczają wirusy (22% w stosunku do 11%), jednak różnica ta nie była istotna statystycznie.
Zgodnie z sugestią recenzenta należy sprawdzić, czy brak istotności statystycznej dla tej różnicy nie wynika ze zbyt niskiej mocy testu oraz podać jak duża powinna być próba, by przy zachowaniu tych samych odsetków uzyskać moc testu chi-kwadrat na poziomie 80%.
Przygotowanie odpowiedzi dla recenzenta
Wyznaczymy współczynnik \(\phi\) dla uzyskanego testu (menu: Chi-kwadrat, Fisher, OR/RR\(\to\)Współczynniki korelacji...\(\to\)Phi). Uzyskujemy \(\phi\)=0.1643. Na podstawie 200-elementowej próby, o danych umieszczonych w tabeli o dwóch wierszach i trzech kolumnach, oraz zadanej wielkości współczynnika \(\phi\) wyznaczamy moc testu chi-kwadrat.

Moc = 0.5368
Wartość niewielka, co potwierdza obawy o niewystarczająco liczną próbę.

Jeśli dla próby o innej liczności uzyskamy ten sam rozkład danych, oznacza to, że uzyskamy również ten sam współczynnik \(\phi\). Do wyznaczenia liczności próby, która dałaby nam 80% moc testu chi-kwadrat, podajemy ponownie współczynnik \(\phi\)=0.1643.

Niezbędna liczność = 357 osób (przy mocy 80%)
Tylu ankietowanych potrzeba, by przy zachowanym rozkładzie odpowiedzi wykazać istotność statystyczną z mocą testu 80%. Ponieważ jest to dopiero badanie pilotażowe, planujemy zwiększyć grupę badaną do 357 osób w badaniu właściwym.

Już w tej chwili zauważamy, że przy pominięciu osób niezdecydowanych (tzn. tych, którzy wybrali odpowiedź „nie wiem”) i ponownym przeprowadzeniu analizy, można wykazać istotne różnice (chi-kwadrat, p=0.0251). W grupie osób zdecydowanych odsetki wybierających błędną odpowiedź są ponad dwukrotnie większe na niekorzyść osób powyżej 50 lat (12.5% vs 25.9%).

Test dwóch niezależnych proporcji, Chi-kwadrat (2x2)

Kiedy stosować:

Analizę mocy i niezbędnej liczności próby dla testu chi-kwadrat dla tabel 2x2 i testu Z dla dwóch niezależnych proporcji wykonujemy, planując lub oceniając badanie porównujące dwa odsetki (proporcje) w dwóch niezależnych grupach. Zanim przystąpimy do obliczeń, warto zapoznać się z zasadami stosowania obu tych testów.
Zadana wielkość efektu to różnica między wyróżnionymi proporcjami. Moc testu oraz niezbędna liczność próby wyliczane są w oparciu o rozkład normalny.

Jak ustawić analizę

Do wyznaczenia mocy testu i niezbędnej liczności próby potrzebujemy podać[36]:

Moc testuLiczność grupy
Liczność grupyMoc testu
Wyróżnioną proporcję w pierwszej grupie
Wyróżnioną proporcję w drugiej grupie
Poziom istotności \(\alpha\)

Wykonanie i interpretacja

Przykład 7. Rozważmy badanie oceniające skuteczność aspiryny w zmniejszaniu śmiertelności z powodu zawału mięśnia sercowego. Wcześniejsze badania wskazują, że odsetek zgonów z powodu zawału serca wynosi 0.015 dla osób nieużywających i 0.001 dla użytkowników aspiryny. Badacze chcą określić minimalną wielkość próbki wymaganą do wykrycia absolutnej różnicy \(|0.001-0.015|=0.014\) przy 80% mocy za pomocą dwustronnego testu o poziomie istotności 5%.

Niezbędna liczność = 635 osób w każdej grupie (grupy równoliczne)
Tyle osób trzeba zebrać w każdej z grup, by przy 80% mocy testu wykazać istotność statystyczną różnicy odsetków wynoszącej 0.014.

ANOVA dla grup niezależnych

Kiedy stosować:

Analizę mocy i niezbędnej liczności próby dla ANOVA dla grup niezależnych wykonujemy, planując lub oceniając badanie porównujące średnie w trzech lub więcej niezależnych grupach. Zanim przystąpimy do obliczeń, warto zapoznać się z zasadami stosowania tej metody.
Zadana wielkość efektu to w tym przypadku RMSSE, czyli miara standaryzowana stosowana w ANOVA do opisania ogólnego poziomu efektu w populacji. Moc testu oraz niezbędna liczność próby wyliczane są w oparciu o niecentralny rozkład F-Snedecora.

Jak ustawić analizę

Do wyznaczenia mocy testu i niezbędnej liczności próby potrzebujemy podać:

Moc testuLiczność grupy
Liczność grupyMoc testu
Średnia grupy 1
Średnia grupy 2
Średnia grupy 3
Średnia grupy 4
Odchylenie standardowe grupy 1
Odchylenie standardowe grupy 2
Odchylenie standardowe grupy 3
Odchylenie standardowe grupy 4
Poziom istotności \(\alpha\)

Wykonanie i interpretacja

Przykład 8. Badano parametr FVC dla pacjentów z wadami serca (wada serca A, wada serca B i wada serca C). Chcemy się dowiedzieć (na poziomie istotności 0.05), czy pacjenci różnią się wartościami tego parametru. By to sprawdzić, przeprowadzono najpierw badanie pilotażowe. Na podstawie wyników tego badania ustalono przewidywane wielkości efektów, tzn.:
– dla wady serca A: średnia = 3.8, odchylenie standardowe = 1.1,
– dla wady serca B: średnia = 4.5, odchylenie standardowe = 0.6,
– dla wady serca C: średnia = 4.2, odchylenie standardowe = 0.9.
Ile osób należy zebrać, jeśli wielkości te utrzymają się na tym samym poziomie, by udowodnić, że występują istotne statystycznie różnice?

Wpisujemy wartości średnich i odchyleń standardowych.

Niezbędna liczność = 33 osoby w każdej grupie (przy mocy 80%)
Tyle osób trzeba zebrać w każdej z grup badanych, by przy zachowaniu przewidywanych wielkości efektów uzyskać moc testu na poziomie 80%.

Test dla jednej proporcji

Kiedy stosować:

Analizę mocy i niezbędnej liczności próby dla testu dla jednej proporcji wykonujemy, planując lub oceniając badanie porównujące proporcję (odsetek) w próbie z zadaną wartością oczekiwaną. Zanim przystąpimy do obliczeń, warto zapoznać się z zasadami stosowania tego testu.
Zadana wielkość efektu to w tym przypadku wielkość różnicy między zadaną proporcją w populacji badanej a hipotetyczną, oczekiwaną proporcją. Moc testu oraz niezbędna liczność próby wyliczane są w oparciu o rozkład normalny, gdy korzystamy z testu asymptotycznego, lub rozkład dwumianowy, gdy korzystamy z testu dokładnego.

Jak ustawić analizę

Do wyznaczenia mocy testu i niezbędnej liczności próby potrzebujemy podać:

Moc testuLiczność grupy
Liczność grupyMoc testu
Proporcja oczekiwana
Proporcja grupy
Poziom istotności \(\alpha\)

Wykonanie i interpretacja

Przykład 9. Zapytano 10 wylosowanych rodzin posiadających dzieci w wieku poniżej 10 lat i zamieszkujących w Poznaniu o planowaną przyszłość edukacyjną swoich dzieci. Spośród nich 6 rodzin planowało edukację swoich dzieci na uczelniach wyższych. Jak dużą musielibyśmy zebrać próbę, by na poziomie istotności 0.05 i przy mocy testu równej 0.8 można było stwierdzić, że więcej niż 50% poznańskich rodzin posiadających dzieci w wieku poniżej 10 lat już teraz planuje ich przyszłą edukację na uczelniach wyższych?

Jako oczekiwaną proporcję wpisujemy 0.5, a proporcję grupy 0.6.

Niezbędna liczność = 194 rodziny (hipoteza dwustronna) lub 151 rodzin (hipoteza jednostronna)
Tyle rodzin trzeba zebrać, by przy mocy testu 80% wykazać, że odsetek planujących wyższe wykształcenie dzieci przekracza 50%.
DLA ZAINTERESOWANYCH

Test t-Studenta dla grup niezależnych – wspólne odchylenie standardowe
Wzory: gdy znane są liczności obu grup, wspólne odchylenie standardowe wyraża się wzorem:

\[ SD_p=\sqrt{\frac{(n_1-1)sd_1^2+(n_2-1)sd_2^2}{n_1+n_2-2}}, \]

gdy liczności nie są znane, stosowany jest uproszczony wzór Cohena (Cohen, J. (1988)[46]):

\[ SD_p=\sqrt{\frac{sd_1^2+sd_2^2}{2}}. \]

gdzie:
\(n_1, n_2\) – liczności w pierwszej i drugiej próbie,
\(sd_1, sd_2\) – odchylenia standardowe w pierwszej i drugiej próbie.

Test chi-kwadrat zgodności oraz test chi-kwadrat (RxC) – wielkość efektu \(\phi\)
Wzory: zadana wielkość efektu \(\phi\) to pierwiastek z ilorazu statystyki testu chi-kwadrat i liczności grupy badanej:

\[ \phi=\sqrt{\frac{\chi^2}{n}}. \]