PQStat Liczba pojawiających się prac naukowych w ostatniej dekadzie bardzo wzrosła. Ułatwia to dostęp do wiedzy, ale utrudnia nadążenie za wciąż pojawiającymi się nowymi informacjami. Gdyby na przykład lekarz zastosował nowy sposób leczenia swoich pacjentów na podstawie jednej przeczytanej pracy naukowej, mógłby popełnić błąd – inne, równie wiarygodne prace mogą przeczyć skuteczności tego leczenia. Aby decyzja lekarza była jak najlepiej uzasadniona, powinien on znać większość prac naukowych, jakie ukazały się na dany temat, a ciągłe przeglądanie coraz większych zbiorów literatury zajęłoby mu tyle czasu, że zabrakłoby go na leczenie pacjentów. Meta-analiza pozwala szybko dokonać takiego przeglądu, ponieważ jest statystycznym podsumowaniem wyników opisanych w wielu niezależnych pracach na ten sam temat.
Meta-analiza w programie PQStat wykonywana jest na podstawie następujących miar (efektów końcowych):
- Różnica średnich,
- d Cohen,
- g Hedges,
- Iloraz średnich,
- Iloraz szans (OR),
- Relatywne ryzyko (RR),
- Różnica ryzyka (RD),
- Współczynnik Pearsona,
- AUC dla krzywej ROC,
- Proporcja.
Wprowadzenie do meta-analizy i przygotowanie danych
Kiedy stosować:
Meta-analizę stosuje się, gdy chcemy w sposób statystyczny podsumować wyniki wielu niezależnych prac naukowych dotyczących tego samego zagadnienia. Najbardziej znanym obrazem związanym z meta-analizą jest wykres leśny, przedstawiający wyniki poszczególnych badań wraz z ich wspólnym podsumowaniem.
Aby można było dokonać wspólnego podsumowania wybranej literatury, musi być ona spójna w opisie, a podane w niej miary muszą być tożsame.
Warunki stosowania
Aby dana praca naukowa mogła być wykorzystana w meta-analizie, powinna umożliwiać wyznaczenie:
- Efektu końcowego – czyli miary statystycznej wskazującej na uzyskany w pracy wynik. W praktyce mogą to być różnego rodzaju wielkości, np. różnica średnich, iloraz szans, relatywne ryzyko itp.
- Błędu efektu, czyli SE (ang. Standard Error) – określającego precyzję przeprowadzonego badania. Im mniejszy jest błąd (SE), tym większa jest precyzja danego badania, a co za tym idzie – tym większa jest jego waga i wpływ na wynik meta-analizy.
- Liczności, czyli liczby obiektów, na jakiej przeprowadzono badanie – wymaganej w niektórych sytuacjach.
Definicje miar
Wartość p (istotność statystyczna) nie jest bezpośrednio wykorzystywana w meta-analizie. Ta sama wielkość efektu może być istotna statystycznie w badaniu dużym, a nieistotna w badaniu opartym na małej liczności – i odwrotnie: mała wielkość efektu może być istotna statystycznie w badaniu dużym, a duża wielkość efektu może być nieistotna w badaniu małym. Wynika to z mocy testów statystycznych. Badając istotność statystyczną, sprawdzamy jedynie, czy efekt w ogóle istnieje (czy jest różny od zera), a nie czy jest na tyle duży, by miał przełożenie na pożądane skutki – np. fakt, że lek obniża ciśnienie istotnie statystycznie o 1 mmHg, nie spowoduje, że będzie stosowany, gdyż z klinicznego punktu widzenia jest to zbyt mała wielkość. Meta-analiza skupia się przede wszystkim na wielkości poszczególnych efektów, a nie na ich istotności statystycznej, dlatego nie ma większego znaczenia, czy prace wykorzystywane w meta-analizie same w sobie wskazują na istotność statystyczną danego efektu, czy nie.
W programie PQStat dla każdego badania wyliczana jest jednak istotność statystyczna, wyznaczona na podstawie stosunku efektu do jego błędu. Jest to podejście asymptotyczne, oparte na rozkładzie normalnym, dedykowane dla licznych grup. Jeśli w cytowanym badaniu do sprawdzenia istotności statystycznej użyto innego testu, uzyskane wyniki mogą się nieco różnić.
Jak ustawić analizę
Okno przygotowania danych do meta-analizy wywołujemy poprzez menu:
Statystyki zaawansowane\(\to\)Meta-analiza\(\to\)Przygotowanie danych.
W oknie przygotowania danych do meta-analizy badacz najpierw podaje nazwę wprowadzanego badania. Nazwa ta powinna jednoznacznie identyfikować badanie, ponieważ będzie je opisywać we wszystkich wynikach meta-analizy, w tym również na wykresach. Pożądany Efekt końcowy badania, jego błąd oraz liczność zostają wyliczone na podstawie miar pozyskanych z odpowiedniej pracy naukowej. Miary zawarte w badaniach, na podstawie których mogą być wyliczone efekty końcowe, przedstawia poniższa tabela:
| Rodzaj badania | Miary w badaniu | Efekt końcowy |
| Średnie niezależne | Średnie, odchylenia | a, b, c, e |
| Średnie, SE | a, b, c, e | |
| Różnica, przedział | a | |
| d Cohen, przedział | b | |
| g Hadges, przedział | c | |
| Iloraz, przedział | e | |
| Różnica, SE | a | |
| d Cohen, SE | b | |
| g Hadges, SE | c | |
| Iloraz, SE | e | |
| Średnie zależne | Średnie, odchylenia | a, b, c |
| Średnie, SE | a, b, c | |
| Różnica, przedział | a | |
| d Cohen, przedział | b | |
| g Hadges, przedział | c | |
| Różnica, odchylenie | a, b, c | |
| Różnica, SE | a, b, c | |
| d Cohen, SE | b | |
| g Hadges, SE | c | |
| Średnia vs zadana | Średnia, odchylenie | a |
| Średnia, SE | a | |
| Średnia - podsumowanie | Średnia, odchylenie | d |
| Średnia, SE | d | |
| Tabele | Tabela 2x2 | b, c, f, g, h |
| OR, przedział | b, c, f | |
| RR, przedział | g | |
| RD, przedział | h | |
| d Cohen, przedział | b, c, f | |
| g Hadges, przedział | b, c, f | |
| OR, SE | b, c, f | |
| RR, SE | g | |
| RD, SE | h | |
| d Cohen, SE | b, c, f | |
| g Hadges, SE | b, c, f | |
| Korelacja | Współczynnik | i |
| Współczynnik, przedział | i | |
| Współczynnik, SE | i | |
| Krzywa ROC | AUC, SE | j |
| AUC, przedział | j | |
| Jedna proporcja | Wyróżniona liczność | k |
| Wyróżniona proporcja | k |
gdzie poszczególne efekty końcowe, to:
- a - Różnica średnich
- b - d Cohen
- c - g Hadges
- d - Średnia
- e - Iloraz średnich
- f - Iloraz szans (OR)
- g - Relatywne ryzyko (RR)
- h - Różnica ryzyka (RD)
- i - Współczynnik Pearsona
- j - AUC (krzywa ROC)
- k - Proporcja
Wykonanie i interpretacja
Przykład 1. Jesteśmy zainteresowani wpływem palenia papierosów na ryzyko wystąpienia choroby X. Chcemy przeprowadzić meta-analizę, dla której efektem końcowym będzie relatywne ryzyko (RR). Przy takim założeniu prace wytypowane do meta-analizy muszą umożliwiać wyliczenie RR i jego błędu.
Krok 1. Na podstawie opisu efektu końcowego (patrz powyższa tabela) ustalono, że relatywne ryzyko (opisane jako wynik g) jest możliwe do wyznaczenia w programie PQStat w trzech sytuacjach, tzn. jeżeli w danej pracy naukowej podano: RR i przedział ufności dla niego, lub RR wraz z błędem, lub odpowiednie liczności w czterech kategoriach tzn. tabelę 2x2.
Krok 2. Wytypowano do meta-analizy 10 prac, które spełniały kryteria włączenia do badań oraz miały możliwość wyznaczenia relatywnego ryzyka (patrz krok 1). Potrzebne dane zawarte w wytypowanych pracach to:
Badanie 1: liczności: (palący i chorujący)=100, (palący i niechorujący)=73, (niepalący i chorujący)=80, (niepalący i niechorujący)=70,
Badanie 2: liczności: (palący i chorujący)=182, (palący i niechorujący)=172, (niepalący i chorujący)=180, (niepalący i niechorujący)=172,
Badanie 3: liczności: (palący i chorujący)=157, (palący i niechorujący)=132, (niepalący i chorujący)=125, (niepalący i niechorujący)=201,
Badanie 4: liczności: (palący i chorujący)=19, (palący i niechorujący)=15, (niepalący i chorujący)=35, (niepalący i niechorujący)=20,
Badanie 5: liczność: 278, RR[95%CI]=1.03[0.85-1.25],
Badanie 6: liczność: 560, RR[95%CI]=1.21[1.05-1.40],
Badanie 7: liczność: 1207, RR[95%CI]=1.04[0.93-1.15],
Badanie 8: liczność: 214, RR[95%CI]=1.15[0.95-1.40],
Badanie 9: liczność: 285, RR[95%CI]=1.36[1.03-1.79],
Badanie 10: liczność: 1968, RR=1.17, SE(lnRR)=0.0437,
Krok 3. Korzystając z okna przygotowania badań do meta-analizy, wprowadzono dane do arkusza. Pierwsze cztery badania wprowadzamy, wybierając tabele; badania od piątego do dziewiątego wprowadzamy, wybierając RR i przedział; ostatnie badanie podaje wszystkie niezbędne dane, tzn. RR i SE. Jako Efekt końcowy badania ustawiamy Relatywne ryzyko (RR):
Każde wprowadzone badanie przenosimy do okna po prawej stronie 
. Przyciskiem OK przenosimy przygotowane badania do arkusza danych. Na podstawie zawartych w arkuszu informacji o poszczególnych badaniach można przystąpić do wykonywania meta-analizy.
Efekt podsumowujący – efekt stały i efekt zmienny
Kiedy stosować:
Najbardziej pożądanym elementem meta-analizy jest podsumowanie zebranych badań, czyli wyznaczenie wspólnego efektu \(M\). Takie podsumowanie można wykonać na dwa sposoby – wyznaczając efekt stały lub efekt zmienny.
Definicje miar
Efekt stały – wyliczając efekt stały, zakładamy, że wszystkie badania w meta-analizie dzielą jeden wspólny prawdziwy efekt. Gdyby więc każde badanie dotyczyło tej samej populacji (np. tego samego kraju), to podsumowując meta-analizę efektem stałym, zakładamy, że w każdym z tych badań prawdziwy (populacyjny) efekt jest taki sam, a co za tym idzie – także wszystkie czynniki, które mogłyby zaburzać wielkość tego efektu, są takie same (np. wiek czy płeć badanych są w każdym badaniu podobne). Różnice w uzyskanych efektach dla poszczególnych badań wynikają wtedy tylko z błędu próbkowania (błędu wewnętrznego każdego badania), czyli z wielkości \(SE\).
Efekt stały oszacowuje populacyjny efekt – prawdziwy efekt wspólny dla każdego z badań. Przedział ufności wokół efektu stałego (szerokość rombu na wykresie leśnym) zależy tylko od poszczególnych \(SE\).
Efekt zmienny – wyliczając efekt zmienny, zakładamy, że każde badanie reprezentuje nieco inną populację, przez co prawdziwy (populacyjny) efekt jest inny dla każdej z nich. Gdyby więc każde badanie dotyczyło innego kraju, to podsumowując meta-analizę efektem zmiennym, zakładamy, że niektóre czynniki mogące zaburzać wielkość tego efektu (np. poziom wykształcenia czy zamożność) różnią się między krajami, przez co i prawdziwy efekt (np. średni wzrost dzietności) jest nieco inny w każdym z nich. Różnice w uzyskanych efektach dla poszczególnych badań wynikają wtedy z błędu próbkowania (błędu wewnątrz każdego badania), czyli z wielkości \(SE\), oraz z różnic między badanymi populacjami, czyli z heterogeniczności badań (\(T^2\)). Heterogeniczność ta nie może być zbyt duża – zbyt duże zróżnicowanie badanych populacji wskazuje na brak podstaw do wspólnego podsumowania.
Efekt zmienny oszacowuje średnią ważoną z prawdziwych (populacyjnych) efektów poszczególnych badań. Przedział ufności wokół efektu zmiennego (szerokość rombu na wykresie leśnym) zależy od poszczególnych \(SE\) oraz od \(T^2\).
Przedział ufności a przedział predykcji
95% przedział ufności (szerokość rombu na wykresie leśnym) – oznacza, że w 95% przypadków takich meta-analiz podsumowujący efekt zmienny wpadnie do wyznaczonego przez romb przedziału.
95% przedział predykcji – oznacza, że w 95% przypadków prawdziwy (populacyjny) efekt nowego badania wpadnie do wyznaczonego przedziału.
Waga badania i jego udział – waga \(w_i\) badania zależy od obserwowanej zmienności: dla efektu stałego wynika ona tylko z błędu próbkowania (SE) danego badania, a dla efektu zmiennego – dodatkowo z różnic pomiędzy badaniami, czyli z obserwowanej wariancji \(T^2\) (im mniejszy błąd, tym większa waga i większy wpływ badania na wynik meta-analizy). Na podstawie wag przypisanych poszczególnym badaniom wyznacza się udział danego badania w całej analizie, czyli odsetek, jaki stanowi waga danego badania w stosunku do łącznej wagi wszystkich włączonych badań.
Jak ustawić analizę
Okno z ustawieniami opcji meta-analizy wywołujemy poprzez menu:
Statystyki zaawansowane\(\to\)Meta-analiza\(\to\)Podsumowanie.
W oknie tym, w zależności od wybranego efektu końcowego, można dokonać podsumowania meta-analizy oraz przeprowadzić podstawowe analizy pozwalające sprawdzić jej założenia, takie jak heterogeniczność czy błąd publikacyjny (badanie wrażliwości, badanie asymetrii), a także przeprowadzić meta-analizę skumulowaną.
Wykonanie i interpretacja
Przykład 2. (plik MetaanalizaRR.pqs)
Badano ryzyko choroby X dla osób palących i niepalących. W niektórych pracach naukowych wskazywano, że ryzyko wystąpienia choroby X jest większe dla palących, a w niektórych nie udowodniono takiego związku. By ustalić, czy palenie papierosów ma wpływ na występowanie choroby X, zaplanowano przeprowadzenie meta-analizy. Wykonano dokładny przegląd literatury i na tej podstawie wytypowano 10 prac naukowych, które dysponowały danymi pozwalającymi wyliczyć relatywne ryzyko (tzn. ryzyko zachorowania dla palących w stosunku do ryzyka zachorowania dla niepalących) oraz jego błąd (precyzję danego badania). Dane przygotowano do meta-analizy i zapisano w pliku.
Ze względu na to, że prace włączone do meta-analizy pochodziły z różnych ośrodków i obejmowały nieco inne populacje, podsumowania dokonano, wybierając efekt zmienny. Jako efekt końcowy wybrano relatywne ryzyko oraz przedstawiono wyniki na wykresie leśnym.
Wyniki czterech badań (badania 3, 6, 9 i 10) wskazują na istotnie wyższe ryzyko zachorowania dla palących. Wynik podsumowujący przeprowadzoną meta-analizę również jest istotny statystycznie i potwierdza ten sam efekt.
Niestety przedział predykcji efektu zmiennego jest szerszy: [0.93-1.38], co oznacza, że w 95% przypadków prawdziwe, populacyjne relatywne ryzyko uzyskane w kolejnych badaniach może być zarówno większe, jak i mniejsze niż jeden.
Waga badania
Wzory:
Dla efektu stałego zmienność wynika tylko z błędu próbkowania (błędu wewnątrz każdego badania), czyli z wielkości \(SE\):
Dla efektu zmiennego zmienność wynika z błędu próbkowania (błędu wewnątrz każdego badania), czyli z wielkości \(SE\), oraz z różnic pomiędzy badaniami, czyli z obserwowanej wariancji \(T^2\):
Badanie heterogeniczności
Kiedy stosować:
Trudno oczekiwać, by każde badanie kończyło się uzyskaniem dokładnie tej samej wielkości efektu – w naturalny sposób uzyskane w różnych pracach wyniki będą nieco inne. Badanie heterogeniczności ma ustalić, na ile pojawiające się różnice pomiędzy uzyskanymi w różnych pracach efektami mają wpływ na budowany w meta-analizie efekt sumaryczny. Efekt sumaryczny dobrze podsumowuje wyniki uzyskane w poszczególnych pracach, jeśli różnice między poszczególnymi efektami są naturalne, tzn. niewielkie. Duże różnice w obserwowanych efektach mogą świadczyć o niejednorodności badań i konieczności wydzielenia bardziej homogenicznych podgrup, np. podzielenia zebranych prac na kilka podgrup względem dodatkowego czynnika. Dla przykładu: dany lek inaczej działa na osoby młodsze, a inaczej na starsze, więc w pracach opartych głównie na danych od osób młodych uzyskiwany efekt może znacznie odbiegać od prac przeprowadzanych na osobach starszych. Podzielenie zebranych prac na bardziej jednorodne podgrupy pozwala na lepsze oszacowanie efektu sumarycznego dla każdej z tych podgrup oddzielnie.
Badanie heterogeniczności sprawdza, czy zmienność pomiędzy badaniami jest zerowa.
Definicje miar
Dodatkowymi miarami opisującymi heterogeniczność są współczynniki \(I^2\) i \(H^2\). Współczynnik \(I^2\) określa procent obserwowanej wariancji, jaki wynika z rzeczywistej różnicy w wielkości badanych efektów (graficznie odzwierciedla stopień zazębiania się przedziałów ufności poszczególnych badań). Ze względu na to, że mieści się on pomiędzy 0% a 100%, podlega prostej interpretacji i jest chętnie stosowany: jeśli \(I^2=0\), cała obserwowana wariancja wielkości efektów jest „fałszywa”, więc jeśli w wyznaczonym wokół współczynnika \(I^2\) przedziale ufności znajdzie się wartość 0, uzyskaną wariancję można uznać za nieistotną statystycznie. Im wartość \(I^2\) jest bliższa 100%, tym bardziej należy się zastanowić nad rezygnacją ze wspólnego podsumowania badań. Przyjmuje się, że \(I^2\approx 25\%\) oznacza słabą, \(I^2\approx 50\%\) średnią, a \(I^2\approx 75\%\) silną heterogeniczność badań. Współczynnik \(H^2\) rozpatruje się natomiast w odniesieniu do wartości 1 – jeśli przedział ufności dla \(H^2\) zawiera wartość 1, uzyskaną wariancję można uznać za nieistotną statystycznie, a im wyższa wartość \(H^2\), tym większa heterogeniczność badań.
Jak ustawić analizę
Opcja Badanie heterogeniczności jest dostępna w oknie Podsumowanie meta-analizy (patrz powyżej).
Wykonanie i interpretacja
Przykład (2) c.d. (plik MetaanalizaRR.pqs)
Badając wpływ palenia papierosów na wystąpienie choroby X, sprawdzono założenie dotyczące heterogeniczności badań. W tym celu w oknie analizy wybrano opcję Badanie heterogeniczności.
Jedynie przedział ufności dla współczynnika \(H^2\) uznaje zmienność pomiędzy badaniami za nieistotną (przedział dla tego współczynnika to [0.93-4.00]). Mając na uwadze powyższe wyniki, należy się zastanowić, czy zebrane prace mogą być podsumowane jednym wspólnym efektem końcowym (wspólnym relatywnym ryzykiem), czy też warto wyznaczyć bardziej homogeniczną grupę prac i przeprowadzić analizę ponownie.
Hipotezy:
\(\begin{array}{cl} \mathcal{H}_0: & \tau^2 = 0,\\ \mathcal{H}_1: & \tau^2 \ne 0, \end{array}\)
gdzie:
\(\tau^2\) – wariancja prawdziwych (populacyjnych) efektów poszczególnych badań.
Wzory:
Statystyka testowa ma postać:
gdzie:
\(T^2\) – wariancja obserwowanych efektów,
\(W\) – współczynnik wyliczony na podstawie wag przypisanych poszczególnym badaniom,
\(k\) – liczba badań.
Statystyka ta ma asymptotycznie (dla dużych liczności) rozkład \(\chi^2\) z liczbą stopni swobody wyliczaną według wzoru \(df=k-1\).
Wyznaczoną na podstawie statystyki testowej wartość \(p\) porównujemy z poziomem istotności \(\alpha\): gdy \(p \le \alpha\), odrzucamy \(\mathcal{H}_0\) na rzecz \(\mathcal{H}_1\); gdy \(p > \alpha\), nie ma podstaw, aby odrzucić \(\mathcal{H}_0\).
Wzory (współczynniki \(I^2\) i \(H^2\)):
Współczynniki \(I^2\) i \(H^2\) wyraża się wzorami:
Badanie wrażliwości
Kiedy stosować:
Efekt podsumowujący badania może się zmieniać w zależności od tego, które badania włączymy do analizy, a które z niej wyłączymy. Powinnością badacza jest sprawdzenie, jak wrażliwa jest analiza na zmianę kryteriów doboru badań. Sprawdzenie wrażliwości pozwala ustalić zmiany efektu podsumowującego będące skutkiem usunięcia danego badania. Badania powinny być na tyle zbliżone, by usunięcie jednego z nich nie zmieniało całkowicie interpretacji efektu podsumowującego.
Definicje miar
Przypisana do danego badania wartość udziału pozostałych definiuje odsetek, jaki stanowi łączna waga pozostałych w analizie badań po wykluczeniu danego badania. Zmiana precyzji informuje natomiast, jak zmieni się precyzja efektu podsumowującego (szerokość przedziału ufności), gdy dane badanie zostanie wykluczone z analizy. Dobrym zilustrowaniem analizy wrażliwości jest wykres leśny wielkości efektu oraz wykres zmian precyzji przy wyłączaniu poszczególnych badań.
Jak ustawić analizę
Opcja Badanie wrażliwości jest dostępna w oknie Podsumowanie meta-analizy (patrz powyżej).
Wykonanie i interpretacja
Przykład (2) c.d. (plik MetaanalizaRR.pqs)
Badając wpływ palenia papierosów na wystąpienie choroby X, sprawdzono wrażliwość analizy na wyłączanie poszczególnych badań. W tym celu w oknie analizy wybrano opcję Badanie wrażliwości oraz wskazano wykres leśny (wrażliwości) i wykres słupkowy (wrażliwości).
Wyniki wspólnego relatywnego ryzyka, nawet nieuwzględniające poszczególnych badań, wciąż pozostają istotne statystycznie.
Do tych samych wniosków prowadzi analiza wykresów – najwęższy przedział i najkorzystniejszą zmianę precyzji uzyskamy po wykluczeniu badania 3.
Badanie asymetrii (obciążenie publikacyjne)
Kiedy stosować:
Symetria uzyskanych efektów zwykle świadczy o braku obciążenia publikacyjnego. Należy jednak pamiętać, że wiele obiektywnych czynników może zakłócić symetrię – np. często nie są publikowane badania o nieistotnych statystycznie efektach lub badania małe, co znacznie utrudnia dotarcie do takich wyników. Jednocześnie brak jest dostatecznie wszechstronnych i uniwersalnych narzędzi statystycznych do detekcji asymetrii, w konsekwencji znaczna część meta-analiz publikowana jest mimo zdiagnozowanej asymetrii; badania takie wymagają jednak dobrego uzasadnienia takiego postępowania.
Definicje miar
Wykres lejkowy
Standardowym sposobem sprawdzenia obciążenia publikacyjnego w postaci asymetrii jest wykres lejkowy, pokazujący zależność pomiędzy wielkością badania (oś Y) a wielkością efektu podsumowującego (oś X). Zakłada się, że duże badania (umieszczone w górnej części wykresu) w prawidłowo dobranym zestawie są zlokalizowane blisko siebie i wyznaczają środek leja, a badania mniejsze znajdują się niżej oraz są bardziej zróżnicowane i symetrycznie rozłożone. Zamiast wielkości badania na osi Y można przedstawić błąd efektu w danym badaniu, co jest lepszym rozwiązaniem – błąd efektu jest bowiem miarą wskazującą na jakość badania i niosącą w sobie również informację o jego liczności.
Test Eggera – ponieważ interpretacja wykresu lejkowego jest zawsze subiektywna, pomocny może być współczynnik Eggera (Egger, 1997[54]) – wyraz wolny w dopasowanej prostej regresji. Współczynnik ten bazuje na korelacji pomiędzy odwrotnością błędu standardowego a stosunkiem wielkości efektu do jego błędu. Im bardziej oddalona od 0 wartość współczynnika, tym większa asymetria. Kierunek współczynnika określa rodzaj asymetrii: wartość dodatnia wraz z dodatnim przedziałem ufności wskazuje na zbyt wysoką wielkość efektu w małych badaniach, a ujemna wraz z ujemnym przedziałem ufności – na zbyt niską wielkość efektu w małych badaniach.
Badanie liczby „Fail-safe” – liczba prac, jaka byłaby potrzebna, by podważyć uzyskany efekt podsumowujący. Nfs Rosenthala (Rosenthal, 1979[140]) określa liczbę prac niewskazujących na występowanie efektu (np. różnica średnich równa 0, iloraz szans równy 1 itp.), jaka jest potrzebna, by zredukować efekt podsumowujący z istotnego statystycznie do nieistotnego. Rosenthal (1984[129]) określił liczbę prac będącą punktem odcięcia jako \(5k+10\). Wyznaczając iloraz \(Nfs\) i punktu odcięcia, uzyskujemy współczynnik(fs) – jeśli jest on większy niż 1, prawdopodobieństwo obciążenia publikacyjnego jest minimalne. Nfs Orwina (Orwin, 1983[129]) określa natomiast liczbę prac o średnim efekcie wskazanym przez badacza, jaka jest potrzebna, by zredukować efekt podsumowujący do pożądanej wielkości wskazanej przez badacza.
Jak ustawić analizę
Opcja Badanie asymetrii jest dostępna w oknie Podsumowanie meta-analizy (patrz powyżej).
Wykonanie i interpretacja
Przykład (2) c.d. (plik MetaanalizaRR.pqs)
Badając wpływ palenia papierosów na wystąpienie choroby X, sprawdzono założenie dotyczące asymetrii badań, a więc obciążenia publikacyjnego. W tym celu w oknie analizy wybrano opcję Badanie asymetrii oraz wskazano wykres lejkowy.
Punkty przedstawiające poszczególne badania są rozłożone symetrycznie na wykresie lejkowym. Co prawda jedno badanie znajduje się poza obrębem trójkąta (Badanie 3), ale jest blisko jego brzegów, więc również na podstawie wykresu nie mamy zasadniczych zastrzeżeń co do doboru badań – jedyna wątpliwość dotyczy badania trzeciego.
Liczba publikacji „Fail-safe” wyznaczona metodą Rosenthala jest duża i wynosi 72. Zatem, jeśli efekt podsumowujący (wspólne dla wszystkich badań relatywne ryzyko) miałby być nieistotny statystycznie (palenie papierosów miałoby nie wpływać na ryzyko choroby X), należałoby dołączyć do zebranych prac jeszcze 72 prace, w których relatywne ryzyko wynosi jeden. Uzyskany efekt można więc uznać za stabilny, gdyż nie będzie można łatwo (niewielką liczbą prac) podważyć uzyskanego efektu.
Uzyskane, wspólne relatywne ryzyko wynosi RR=1.13. Wykorzystując metodę Orwina, sprawdzono, jak wiele prac o relatywnym ryzyku równym 1.11 potrzeba włączyć, by wspólne relatywne ryzyko spadło do wielkości 1.12. Uzyskany rezultat to 11 prac. Zmniejszając natomiast wielkość relatywnego ryzyka z 1.11 do 1.10, już tylko 5 prac potrzeba, by wspólne relatywne ryzyko wyniosło 1.12.
Test Eggera
Hipotezy:
\(\begin{array}{cl} \mathcal{H}_0: & b = 0,\\ \mathcal{H}_1: & b \ne 0, \end{array}\)
gdzie:
\(b\) – wyraz wolny w równaniu regresji Eggera.
Wzory:
Statystyka testowa ma postać:
gdzie:
\(SE(b)\) – błąd standardowy wyrazu wolnego.
Statystyka testowa ma rozkład \(t\)-Studenta z \(k-2\) stopniami swobody.
Wyznaczoną na podstawie statystyki testowej wartość \(p\) porównujemy z poziomem istotności \(\alpha\): gdy \(p \le \alpha\), odrzucamy \(\mathcal{H}_0\) na rzecz \(\mathcal{H}_1\); gdy \(p > \alpha\), nie ma podstaw, aby odrzucić \(\mathcal{H}_0\).
Nfs Rosenthala
gdzie:
\(Z_i\) – wartość statystyki testowej (o rozkładzie normalnym) danego badania,
\(Z_c\) – wartość krytyczna rozkładu normalnego dla zadanego poziomu istotności,
\(k\) – liczba badań w meta-analizie.
Nfs Orwina
gdzie:
\(M\) – efekt podsumowujący uzyskany w meta-analizie,
\(M_d\) – pożądana wielkość efektu wskazana przez badacza,
\(\overline{M_{fs}}\) – średni efekt prac dodawanych do analizy, wskazany przez badacza.
Meta-analiza skumulowana
Kiedy stosować:
Typowym celem przeprowadzenia meta-analizy skumulowanej jest pokazanie, jak zmienił się efekt od czasu przeprowadzenia/opublikowania ostatniej meta-analizy dotyczącej danego tematu, lub jak zmieniał się on na przestrzeni ostatnich lat. Wówczas chronologicznie (zgodnie z linią czasu) dodawane są kolejne badania i każdorazowo wyliczany jest efekt podsumowujący. Równie ważna jest skumulowana analiza badająca zmianę efektu podsumowującego w zależności od wielkości wpływu wybranego, dodatkowego czynnika – wówczas badania są sortowane zgodnie z wielkością tego czynnika i dla kolejno dodawanych badań wyliczany jest wspólny efekt podsumowujący.
Definicje miar
W zależności od celu kumulacji należy wybrać zmienną, według której poszczególne badania będą sortowane, czyli ustalić kolejność dodawania badań do podsumowania meta-analizą – może to być dowolna zmienna liczbowa. Przypisana do danego badania wartość udziału skumulowanego definiuje odsetek, jaki stanowi łączna waga włączonych do analizy badań, tzn. danego badania i badań je poprzedzających. Zmiana precyzji informuje natomiast, jak zmieni się precyzja efektu podsumowującego (szerokość przedziału ufności), gdy dane badanie zostanie dołączone do badań je poprzedzających. Dobrym zilustrowaniem analizy skumulowanej jest wykres leśny wielkości efektu oraz wykres zmian precyzji przy dołączaniu poszczególnych badań.
Jak ustawić analizę
Opcja Meta-analiza skumulowana jest dostępna w oknie Podsumowanie meta-analizy (patrz powyżej).
Wykonanie i interpretacja
Przykład (2) c.d. (plik MetaanalizaRR.pqs)
Badając wpływ palenia papierosów na wystąpienie choroby X, sprawdzono, jak uzyskane wyniki ewoluowały w czasie. W tym celu, w oknie analizy wybrano opcję Meta-analiza skumulowana oraz zmienną, według której kolejne prace będą włączane do meta-analizy, a także wskazano wykres leśny (skumulowany) i wykres słupkowy (skumulowany).
Wraz z pojawianiem się nowych prac uzyskiwany efekt podsumowujący zyskiwał na sile, a jego istotność uzyskano po dodaniu do wcześniejszych prac Badania 10, a następnie również kolejnych badań.
Zasadniczo dodanie kolejnych prac zwiększało precyzję uzyskanego relatywnego ryzyka, za wyjątkiem sytuacji, w której dodano Badanie 3. Efekt ten widzimy w tabeli oraz na dołączonych wykresach.
W rezultacie należy się zastanowić nad wykluczeniem Badania 3 z przeprowadzonej meta-analizy.
Porównanie grup
Kiedy stosować:
Bywają sytuacje, w których zebrane dane dotyczą tego samego efektu, wykonywanego na tej samej populacji, ale w nieco innych warunkach – np. część badań przeprowadzono w warunkach A, a część w warunkach B. Wówczas interesujące może być porównanie efektów podsumowujących uzyskanych dla każdej grupy. Wykazanie różnic pomiędzy efektami podsumowującymi może być głównym celem meta-analizy – wówczas niewskazane jest podsumowanie obu podgrup jednym wspólnym efektem. Jeśli jednak badacz zdaje sobie sprawę, że badania przeprowadzano w różnych warunkach, ale celowe wydaje się wspólne podsumowanie wszystkich badań, to po wykazaniu braku istotnych statystycznie (lub klinicznie) różnic może dokonać wspólnego podsumowania z uwzględnieniem podziału na podgrupy A i B, czyli wyznaczyć wspólne podsumowanie skorygowane o różne warunki eksperymentu.
Na przykład: w kraju A panuje nieco inny klimat niż w kraju B. Dysponując szeregiem badań dotyczących obu krajów i badając roślinność tych krajów, możemy sprawdzić, czy warunki klimatyczne mają wpływ na uzyskane efekty badań. Analiza porównawcza wyznaczonych w ten sposób podgrup pozwoli ocenić, czy klimat ma zasadniczy wpływ na uzyskiwane wyniki, i czy wyniki badań obejmujące oba kraje można podsumować jednym wspólnym efektem, czy też należy wyznaczać oddzielne podsumowania dla każdego kraju. Innym przykładem może być podział badań na te z pełną randomizacją i bez niej, by sprawdzić, czy badania bez randomizacji dają na tyle zbliżone efekty do badań z randomizacją, by móc je włączyć do dalszej, wspólnej analizy.
Definicje miar
Porównania grup można dokonać, wybierając jako efekt podsumowujący: efekt stały, efekt zmienny (oddzielne \(T^2\)) lub efekt zmienny (wspólne \(T^2\)), gdzie \(T^2\) to wariancja obserwowanych efektów.
- Efekt stały wybieramy wtedy, gdy zakładamy, że badania wewnątrz każdej grupy dzielą jeden wspólny prawdziwy (tzn. populacyjny) efekt.
- Efekt zmienny (oddzielne \(T^2\)) wybieramy wtedy, gdy zakładamy, że badania wewnątrz każdej grupy reprezentują nieco inne populacje oraz że grupy różnią się wariancją pomiędzy badaniami.
- Efekt zmienny (wspólne \(T^2\)) wybieramy wtedy, gdy zakładamy, że badania wewnątrz każdej grupy reprezentują nieco inne populacje, ale wariancja pomiędzy badaniami jest taka sama, bez względu na grupę, do której przynależą.
W rezultacie każda grupa zostaje opisana oddzielnie wybranym efektem podsumowującym. Celem głównym jest porównanie grup, czyli ustalenie, czy porównywane grupy różnią się prawdziwym (populacyjnym) efektem podsumowującym – w praktyce jest to sprawdzenie, czy wariancja efektów podsumowujących grupy jest zerowa, czyli badanie heterogeniczności grup. Opis i interpretacja wyników tej analizy odpowiada rozdziałowi Badanie heterogeniczności, z tym że w przypadku porównania grup heterogeniczność dotyczy efektów podsumowujących porównywanych grup, a nie poszczególnych badań, a wynik jest uzależniony od wybranego efektu podsumowującego. Jeśli wynik jest istotny statystycznie (statystyki Q, współczynnika \(I^2\) lub współczynnika \(H^2\)), jest to mocna sugestia, by zrezygnować ze wspólnego podsumowywania porównywanych grup.
Dodatkowe możliwości analizy porównania grup:
- Badanie heterogeniczności w grupach
Możliwość przeanalizowania każdej grupy oddzielnie pod kątem heterogeniczności (zgodnie z opisem w rozdziale Badanie heterogeniczności). Uzyskane wyniki, w szczególności wyznaczona wariancja \(T^2\), ułatwiają wybór efektu zmiennego (oddzielne \(T^2\)) lub efektu zmiennego (wspólne \(T^2\)) do porównania grup.
- Wspólne podsumowanie grup
Jeśli różnice uzyskane pomiędzy efektami podsumowującymi poszczególne grupy są niewielkie i nieistotne, można dokonać wspólnego podsumowania tych grup, skorygowanego o podział na wskazane grupy. Rezultat wspólnego podsumowania zależy od obserwowanych różnic (wariacji pomiędzy badaniami i pomiędzy grupami), czyli od wyboru efektu podsumowującego. Dobrym zilustrowaniem wspólnego podsumowania grup jest wykres leśny przedstawiający wyniki poszczególnych badań wraz z podsumowaniem każdej grupy i wspólnym podsumowaniem grup.
- Porównanie ANOVA
Dodatkowa opcja porównania grup, oparta na innym modelu matematycznym niż porównanie poprzez badanie heterogeniczności grup, choć obie metody dają zbieżne wyniki. Obserwowana wariancja zostaje rozbita na wariancję między grupami i wariancję wewnątrz grup, a ta – na wariancję każdej grupy oddzielnie.
Jak ustawić analizę
Okno z ustawieniami opcji porównania grup dla meta-analizy wywołujemy poprzez menu:
Statystyki zaawansowane\(\to\)Meta-analiza\(\to\)Porównanie grup.
Wykonanie i interpretacja
Przykład 3. (plik MetaanalizaRR.pqs)
Badano ryzyko choroby X dla osób palących i niepalących. By ustalić, czy czas pozostawania w nałogu ma wpływ na występowanie choroby X, zaplanowano przeprowadzenie meta-analizy. Wykonano dokładny przegląd literatury i na tej podstawie wytypowano 17 prac naukowych dysponujących opisem relatywnego ryzyka i jego błędu (precyzji danego badania). Ze względu na to, że badania dotyczyły różnego czasu palenia, wyodrębniono 3 grupy badań:
- (1) badania dotyczące palących dłużej niż 10 lat,
- (2) badania dotyczące palących od 5 do 10 lat,
- (3) badania dotyczące palących krócej niż 5 lat.
Dodatkowo dokonano podziału na dwa różne warunki przeprowadzanych badań (różne kryteria włączenia/wyłączenia osób). Dane przygotowano do meta-analizy i zapisano w pliku. Celem przeprowadzania meta-analizy było porównanie grup wiekowych. Dodatkowo sprawdzono, czy różne warunki eksperymentu przełożyły się na różnice w uzyskanym relatywnym ryzyku.
Ze względu na to, że prace włączone do meta-analizy pochodziły z różnych ośrodków i obejmowały nieco inne populacje, podsumowania dokonano, wybierając efekt zmienny (oddzielne T2). Jako efekt końcowy wybrano relatywne ryzyko oraz przedstawiono wyniki na wykresie leśnym.
Dlatego zebrane prace nie zostaną podsumowane wspólnym efektem, a jedynie poprzez oddzielne podsumowanie każdej grupy.
Wykres leśny również przedstawia podsumowanie każdej grupy i nie zawiera wspólnego podsumowania grup.
Dodatkowo sprawdzono homogeniczność w każdej z grup, by upewnić się co do możliwości ich oddzielnego podsumowania.
Wyniki porównania dotyczącego różnych warunków prowadzenia badań wskazują natomiast na brak istotnego wpływu tych warunków na efekt podsumowujący. W tym przypadku możliwy jest do wyliczenia wspólny efekt końcowy skorygowany o różne warunki przeprowadzania badań, czyli wspólne podsumowanie obu grup.
Hipotezy dla badania heterogeniczności grup:
\(\begin{array}{cl} \mathcal{H}_0: & \tau^2 = 0,\\ \mathcal{H}_1: & \tau^2 \ne 0, \end{array}\)
gdzie:
\(\tau^2\) – wariancja prawdziwych (populacyjnych) efektów podsumowujących porównywanych grup.
Wyznaczoną na podstawie statystyki testowej wartość \(p\) porównujemy z poziomem istotności \(\alpha\): gdy \(p \le \alpha\), odrzucamy \(\mathcal{H}_0\) na rzecz \(\mathcal{H}_1\); gdy \(p > \alpha\), nie ma podstaw, aby odrzucić \(\mathcal{H}_0\).
Porównanie ANOVA
Procedura:
Wykorzystując podejście ANOVA, obserwowaną wariancję łączną rozbija się na wariancję między grupami i wariancję wewnątrz grup, tę zaś na wariancję każdej grupy oddzielnie. W rezultacie wyznaczone zostają następujące statystyki \(Q\):
- Statystyka \(Q\) (grupa 1) – bada tę część wariancji łącznej, która odnosi się do grupy pierwszej, czyli wariancję pomiędzy badaniami znajdującymi się wewnątrz grupy pierwszej,
- Statystyka \(Q\) (grupa 2) – analogicznie dla grupy drugiej,
- …
- Statystyka \(Q\) (grupa g) – analogicznie dla grupy ostatniej,
- Statystyka \(Q\) (wewnątrz grup) \(=\) \(Q\) (grupa 1) \(+\) \(Q\) (grupa 2) \(+ \ldots +\) \(Q\) (grupa g) – bada tę część wariancji łącznej, która odnosi się do wnętrza poszczególnych grup,
- Statystyka \(Q\) (między grupami) – bada tę część wariancji łącznej, która odnosi się do różnic między grupami (wynik tożsamy z badaniem heterogeniczności grup),
- Statystyka \(Q\) (łączna) – bada wariancję pomiędzy wszystkimi badaniami.
Każda z powyższych statystyk \(Q\) ma rozkład \(\chi^2\) z odpowiednią dla niej liczbą stopni swobody.
Meta-regresja
Kiedy stosować:
Meta-regresja jest przeprowadzana w sposób analogiczny do analizy regresji opisanej w dziale Liniowa regresja wieloraka. W przypadku meta-regresji badanymi obiektami są poszczególne badania: ich wyniki (np. ilorazy szans, relatywne ryzyka, różnice średnich) stanowią zmienną zależną \(Y\), czyli wyjaśnianą, natomiast dodatkowe warunki przeprowadzania tych badań stanowią zmienne niezależne (\(X_1\), \(X_2\), \(\ldots\), \(X_k\)), czyli wyjaśniające. Podobnie jak w tradycyjnych modelach regresji, zmienne niezależne mogą wchodzić w interakcje, a te opisane skalą nominalną mogą podlegać specjalnemu kodowaniu (więcej informacji w rozdziale Przygotowanie zmiennych do analizy w modelach wielowymiarowych).
Meta-regresję można przeprowadzić, wybierając efekt stały lub efekt zmienny.
- Efekt stały wybieramy wtedy, gdy zakładamy, że badania przedstawiają jeden wspólny prawdziwy efekt w taki sposób, że wszystkie czynniki, które mogłyby zaburzać jego wielkość, są takie same – za wyjątkiem czynników badanych jako zmienne niezależne w modelu. Jest to sytuacja rzadka w praktyce, ponieważ wymaga w pełni kontrolowanych warunków (trudnych do spełnienia, gdy badania prowadzą różne ośrodki i różni badacze). Miałaby ona uzasadnienie np. wtedy, gdyby wszystkie badania przeprowadzał jeden ośrodek, na tej samej populacji, przy zmianie tylko tych warunków, które opisuje badana cecha.
- Efekt zmienny wybieramy wtedy, gdy zakładamy, że badania mogą przedstawiać nieco różniące się populacje, tzn. nie wszystkie czynniki mogące zaburzać wielkość badanego efektu są opisane we wszystkich pracach (można założyć, że są podobne, ale nie muszą być identyczne). Wykorzystanie efektu zmiennego jest częstsze, ponieważ poszczególne badania przeprowadzane są zwykle przez różne ośrodki w nieco innych warunkach.
Warunki stosowania
- liczba zmiennych niezależnych powinna być niewielka – mniejsza niż liczba prac, na podstawie których przeprowadza się badanie (\(n\ge k+1\)).
Definicje miar
Istotność statystyczna poszczególnych zmiennych w modelu – na podstawie współczynnika oraz jego błędu wnioskujemy, czy zmienna niezależna, dla której ten współczynnik oszacowano, wywiera istotny wpływ na efekt końcowy.
Jakość zbudowanego modelu meta-regresji oceniamy kilkoma miarami:
- Współczynnik \(R^2\) – miara dopasowania modelu, wyrażająca procent zmienności pomiędzy efektami badań tłumaczony przez model. Wartość tego współczynnika mieści się w przedziale \(<0; 1>\), gdzie 1 oznacza doskonałe dopasowanie modelu, a 0 – zupełny brak dopasowania.
- Współczynnik \(I^2\) – określa procent obserwowanej wariancji, jaki wynika z rzeczywistej różnicy w wielkości badanych efektów (por. Badanie heterogeniczności).
Istotność statystyczna wszystkich zmiennych w modelu sprawdzana jest podejściem ANOVA, wyznaczającym statystykę \(Q\)(modelu) – obserwowaną wariancję pomiędzy badaniami rozbija się wówczas na wariancję tłumaczoną przez model i wariancję reszt (nietłumaczoną przez model).
Jak ustawić analizę
Okno z ustawieniami opcji meta-regresji wywołujemy poprzez menu:
Statystyki zaawansowane\(\to\)Meta-analiza\(\to\)Meta-regresja.
Wykonanie i interpretacja
Przykład (3) c.d. (plik MetaanalizaRR.pqs)
Badano ryzyko choroby X dla osób palących i niepalących. By ustalić, czy czas pozostawania w nałogu ma wpływ na występowanie choroby X oraz czy różne warunki eksperymentu przełożyły się na różnice w uzyskanym relatywnym ryzyku, wykonano meta-analizę porównującą wyodrębnione grupy badań. Na podstawie porównania grup badań udało się ustalić, że ostatnia grupa (palących najdłużej, tzn. dłużej niż 10 lat) wskazuje na związek pomiędzy paleniem a występowaniem choroby X, natomiast dla grup, w których czas palenia był krótszy, nie udało się uzyskać istotnego efektu. Zauważono jednak, że efekt systematycznie rośnie wraz z upływem lat palenia. By sprawdzić hipotezę o istotnym zwiększeniu ryzyka choroby X wraz z upływem lat palenia, zbudowano dwa modele regresji: w pierwszym zmienną grupującą Lata palenia potraktowano jako zmienną ciągłą, a w drugim jako zmienną kategorialną (fikcyjną) z grupą odniesienia palącą krócej niż 5 lat. Dane przygotowano do meta-analizy i zapisano w pliku.
Ze względu na to, że prace włączone do meta-analizy pochodziły z różnych ośrodków i obejmowały nieco inne populacje, meta-regresję wykonano, wybierając efekt zmienny. Jako efekt końcowy wybrano relatywne ryzyko oraz przedstawiono wyniki na wykresie.
Ponieważ część badań prowadzono według innych kryteriów (w innych warunkach), uzyskane wyniki obu modeli skorygowano o różne warunki prowadzenia badań.
Przeprowadzona korekcja nie zmieniła zasadniczej tendencji, a więc można uznać, że ryzyko wystąpienia choroby X wzrasta wraz z upływem lat palenia, bez względu na przyjętą metodologię (kryteria włączenia/wyłączenia osób). Uzyskaną zależność dla modelu pierwszego, przy założeniu prowadzenia badań w warunkach „a” (wskazanych jako warunki pierwsze), przedstawia wykres.
Istotność statystyczna poszczególnego współczynnika
Hipotezy:
\(\begin{array}{cc} \mathcal{H}_0: & \beta_i=0,\\ \mathcal{H}_1: & \beta_i\ne 0. \end{array}\)
Wzory:
Statystyka testowa ma postać:
Statystyka testowa ma rozkład normalny.
Wyznaczoną na podstawie statystyki testowej wartość \(p\) porównujemy z poziomem istotności \(\alpha\): gdy \(p \le \alpha\), odrzucamy \(\mathcal{H}_0\) na rzecz \(\mathcal{H}_1\); gdy \(p > \alpha\), nie ma podstaw, aby odrzucić \(\mathcal{H}_0\).
Współczynnik \(R^2\)
gdzie:
\(T^2_{(modelu)}\) – wariancja między badaniami wyjaśniona przez model,
\(T^2_{(total)}\) – całkowita wariancja między badaniami.
Istotność statystyczna wszystkich zmiennych w modelu
Hipotezy:
\(\begin{array}{cc} \mathcal{H}_0: & \textrm{wszystkie } \beta_i=0,\\ \mathcal{H}_1: & \textrm{istnieje }\beta_i\neq0. \end{array}\)
Procedura:
Wykorzystując podejście ANOVA, obserwowaną wariancję pomiędzy badaniami rozbija się na wariancję tłumaczoną przez model i wariancję reszt (nietłumaczoną przez model). W rezultacie wyznaczone zostają następujące statystyki \(Q\):
- Statystyka \(Q\) (reszty) – bada tę część wariancji łącznej, która nie jest tłumaczona przez model,
- Statystyka \(Q\) (modelu) – bada tę część wariancji łącznej, która jest tłumaczona przez model,
- Statystyka \(Q\) (łączna) – bada wariancję pomiędzy wszystkimi badaniami.
Każda z powyższych statystyk \(Q\) ma rozkład \(\chi^2\) z odpowiednią dla niej liczbą stopni swobody.
Wyznaczoną na podstawie statystyki testowej wartość \(p\) porównujemy z poziomem istotności \(\alpha\): gdy \(p \le \alpha\), odrzucamy \(\mathcal{H}_0\) na rzecz \(\mathcal{H}_1\); gdy \(p > \alpha\), nie ma podstaw, aby odrzucić \(\mathcal{H}_0\).