Porównywanie modeli regresji logistycznej

Kiedy stosować:

Ze względu na możliwość jednoczesnej analizy wielu zmiennych niezależnych w jednym modelu regresji logistycznej, podobnie jak w liniowej regresji wielorakiej, pojawia się problem wyboru optymalnego modelu. Wybierając zmienne niezależne, należy pamiętać, by w modelu znajdowały się zmienne silnie skorelowane ze zmienną zależną i słabo skorelowane między sobą.

Porównywanie modeli regresji logistycznej pozwala odpowiedzieć na pytanie, czy dołożenie (lub usunięcie) zmiennych niezależnych istotnie zmienia jakość modelu. Jeśli dwa modele nie różnią się istotnie, warto wybrać ten prostszy – z mniejszą liczbą zmiennych. Dodatkowo, gdy interesuje nas praktyczna przydatność nowego czynnika ryzyka, można porównać, o ile poprawia się zdolność modelu do przewidywania badanego zdarzenia po dołączeniu tego czynnika.

Warunki stosowania

Definicje miar

Porównując modele z różną liczbą zmiennych niezależnych, zwracamy uwagę na dopasowanie modelu oraz na kryteria informacyjne. Decyzję o tym, który model wybrać, podejmujemy na podstawie wielkości \(R_{Pseudo}^2\), \(R^2_{Nagelkerke}\), \(R^2_{Cox-Snell}\) oraz wyniku testu ilorazu wiarygodności, porównującego kolejno powstające (sąsiednie) modele. Dla każdego modelu wyliczane jest bowiem maksimum funkcji wiarygodności, a test ilorazu wiarygodności sprawdza, czy modele pełny i zredukowany różnią się istotnie pod tym względem. Jeśli porównywane modele nie różnią się istotnie, powinniśmy wybrać ten z mniejszą liczbą zmiennych – brak różnicy oznacza bowiem, że zmienne obecne w modelu pełnym, a nieobecne w modelu zredukowanym, nie wnoszą istotnej informacji. Jeśli natomiast różnica jest istotna statystycznie, oznacza to, że jeden z modeli (ten z większą liczbą zmiennych, o większym \(R^2\) i mniejszej wartości kryterium informacyjnego AIC, AICc lub BIC) jest istotnie lepszy niż drugi.

Porównanie wartości prognostycznej modeli – budowane modele regresji pozwalają przewidzieć prawdopodobieństwo wystąpienia badanego zdarzenia na podstawie analizowanych zmiennych niezależnych. Gdy znanych jest już wiele czynników zwiększających ryzyko wystąpienia zdarzenia, ważnym kryterium dla nowego kandydata na czynnik ryzyka jest to, na ile poprawia on skuteczność predykcji po dołączeniu go do modelu. Przykładowo, badając czynniki ryzyka choroby wieńcowej (wiek, ciśnienie skurczowe i rozkurczowe, otyłość, cholesterol, palenie), możemy sprawdzić, czy dołączenie kolejnego czynnika w istotny sposób poprawia oszacowanie ryzyka choroby. Wartość prognostyczna modelu wynika z wyznaczonego dla każdej badanej osoby prawdopodobieństwa przewidywanego – im bliższe wartości 1, tym bardziej prawdopodobne jest wystąpienie zdarzenia. Na podstawie prawdopodobieństwa przewidywanego można wyznaczyć i porównać między modelami wielkość pola \(AUC\) pod krzywą ROC, a także współczynniki \(NRI\) i \(IDI\).

• Zmiana pola pod krzywą ROC – krzywa ROC w modelach regresji logistycznej budowana jest na podstawie klasyfikacji przypadków do grupy doświadczającej zdarzenia lub nie oraz przewidywanego prawdopodobieństwa zmiennej zależnej. Im większe pole pod krzywą, tym trafniej prawdopodobieństwo wyznaczone przez model przewiduje rzeczywiste wystąpienie zdarzenia. Porównując pole pod krzywą ROC dla modelu pełnego i zredukowanego, sprawdzamy więc, czy dołożenie czynników istotnie poprawiło predykcję modelu (metoda DeLonga, opisana szerzej w rozdziale Porównywanie krzywych ROC).

• Poprawa reklasyfikacji netto (\(NRI\)) (ang. Net Reclassification Improvement) – miara oparta na tabeli reklasyfikacji, opisującej przesunięcie wartości prawdopodobieństwa przewidywanego w górę lub w dół po dołożeniu nowego czynnika do modelu. Wyznacza się ją oddzielnie dla obiektów doświadczających zdarzenia i dla tych, które go nie doświadczyły. \(NRI\) może być wyznaczany dla zadanego podziału prawdopodobieństwa przewidywanego na kategorie (\(NRI\) kategorialny) lub bez konieczności wyznaczania kategorii (\(NRI\) ciągły).

  • \(NRI\) kategorialny wymaga arbitralnego wyznaczenia punktów podziału wartości prawdopodobieństwa przewidywanego (maksymalnie 9 punktów, czyli maksymalnie 10 kategorii; najczęściej stosuje się jeden lub dwa punkty). Wartości kategorialnego \(NRI\) można porównywać między sobą tylko wtedy, gdy bazują na tych samych punktach podziału. Przykładowo, dla punktów podziału 0.1 i 0.3: jeśli w modelu „starym” (mniejszym) osoba uzyskała prawdopodobieństwo poniżej 0.1, a w modelu „nowym” – pomiędzy 0.1 a 0.3, to została reklasyfikowana w górę. Jeśli wartość z obu modeli mieści się w tym samym przedziale, osoba nie została reklasyfikowana, a jeśli prawdopodobieństwo z modelu „nowego” jest niższe niż w modelu „starym”, mamy do czynienia z reklasyfikacją w dół.

    modele regresji	reklasyfikacja w górę		brak reklasyfikacji		reklasyfikacja w dół
    prawdop. przewidywane	"stary"	"nowy"	"stary"	"nowy"	"stary"	"nowy"
    [0.3 do 1]					\(\oplus\)
    [0.1; 0.3)		\(\oplus\)	\(\oplus\)	\(\oplus\)		\(\oplus\)
    [0; 0.1)	\(\oplus\)

  • \(NRI\) ciągły nie wymaga arbitralnego wyznaczania kategorii – każda, nawet najmniejsza zmiana prawdopodobieństwa w górę lub w dół w stosunku do prawdopodobieństwa z modelu „starego” jest traktowana jako przejście do kolejnej kategorii.
  Uwaga! Stosowanie \(NRI\) ciągłego nie wymaga arbitralnego definiowania punktów podziału prawdopodobieństwa, jednak nawet niewielkie zmiany ryzyka (niemające odzwierciedlenia w obserwacjach klinicznych) mogą wpływać na wartość tego współczynnika. \(NRI\) kategorialny odzwierciedla natomiast tylko te zmiany, które badacz uznał za ważne, definiując punkty podziału prawdopodobieństwa.

  Ogólny współczynnik \(NRI\) mieści się w przedziale od \(-2\) do \(2\), a współczynniki cząstkowe \(NRI_{events}\) i \(NRI_{nonevents}\) – w przedziale od \(-1\) do \(1\) (od \(-100\%\) do \(100\%\)). Wartości dodatnie świadczą o korzystnej reklasyfikacji, a ujemne – o niekorzystnej reklasyfikacji na skutek dołożenia nowej zmiennej do modelu. Istotność statystyczną uzyskanej wartości \(NRI\) sprawdza się dedykowanym testem Z.

• Zintegrowana poprawa dyskryminacji (\(IDI\)) (ang. Integrated Discrimination Improvement) – współczynnik pokazujący różnicę pomiędzy średnią zmianą prawdopodobieństwa przewidywanego (między modelem „starym” i „nowym”) w grupie obiektów doświadczających zdarzenia a grupą obiektów, które zdarzenia nie doświadczyły. Podobnie jak dla \(NRI\), istotność statystyczną \(IDI\) sprawdza się dedykowanym testem Z.

U-smile – opisana w rozdziale Regresja logistyczna metoda U-smile może być użyta również do porównania kolejnych (sąsiednich) modeli: modelem odniesienia jest model wcześniejszy na liście, a modelem nowym – następny. Raport zawiera współczynniki \(rLR\), \(BA\) lub \(RB\) (do wyboru w oknie AUC-IDI-NRI) dla czterech podklas, współczynniki netto dla klas, współczynnik ogólny, udziały \(I\) oraz testy istotności; dla każdej pary można dołączyć wykres U-smile. Wartości \(p\) testów zakładają modele zagnieżdżone – dla par niezagnieżdżonych (metoda wszystkich podzbiorów) należy je traktować orientacyjnie.

W programie PQStat porównywanie modeli można przeprowadzić ręcznie lub automatycznie.

• Ręczne porównywanie modeli polega na zbudowaniu 2 modeli:

  • pełnego – modelu z większą liczbą zmiennych,
  • zredukowanego – modelu z mniejszą liczbą zmiennych; model taki powstaje z modelu pełnego po usunięciu zmiennych, które z punktu widzenia badanego zjawiska są zbędne.

  Wybór zmiennych niezależnych w porównywanych modelach, a następnie wybór lepszego modelu na podstawie uzyskanych wyników porównania, należy do badacza.

• Automatyczny dobór modelu – program sam buduje kolejne modele i wskazuje najlepszy według wybranego kryterium.

  Składniki modelu. Jednostką, którą metody automatyczne dodają do modelu lub z niego usuwają, jest składnik: pojedyncza zmienna, cała zmienna fikcyjna (wszystkie jej kolumny 0–1 naraz) albo interakcja. Obowiązuje zasada hierarchii: interakcja może znaleźć się w modelu tylko wtedy, gdy są w nim jej efekty główne, i tylko ona może zostać usunięta przed nimi.

  Kryterium doboru wybieramy w oknie analizy:

  • AIC, AICc lub BIC – kryteria informacyjne; lepszy jest model o mniejszej wartości kryterium. Ruch (dodanie lub usunięcie składnika) jest przyjmowany tylko wtedy, gdy obniża kryterium;
  • \(p\) testu zagnieżdżonego – test ilorazu wiarygodności porównujący model przed zmianą i po zmianie, z zadanym progiem \(p\). Składnik jest usuwany, gdy \(p\) jest większe od progu, a dodawany, gdy \(p\) jest mniejsze od progu. Ta sama wartość \(p\) jest pokazywana w raporcie jako porównanie sąsiednich modeli.

  Metody doboru:

  • eliminacja wstecz – start od modelu ze wszystkimi zmiennymi; w każdym kroku usuwany jest ten składnik, którego usunięcie najbardziej obniża kryterium; koniec, gdy żadne usunięcie już go nie obniża;
  • selekcja w przód – start od modelu zerowego (tylko wyraz wolny); w każdym kroku dodawany jest składnik najbardziej obniżający kryterium; koniec, gdy żadne dodanie już go nie obniża;
  • krokowa dwukierunkowa – start od modelu zerowego; w każdym kroku rozważane są zarówno dodania, jak i usunięcia składników i wybierany jest najlepszy ruch; koniec, gdy żaden ruch nie poprawia kryterium;
  • wszystkie podzbiory – dopasowywane są wszystkie modele zgodne z zasadą hierarchii (maksymalnie 15 składników), a w raporcie prezentowany jest najlepszy model każdej wielkości; metoda korzysta wyłącznie z kryteriów informacyjnych.

  Wszystkie modele są liczone na tym samym zbiorze obserwacji – wiersze z brakami w którejkolwiek ze zmiennych kandydujących są odrzucane raz, przed analizą. Dzięki temu kryteria informacyjne, testy ilorazu wiarygodności oraz porównania krzywych ROC, \(NRI\) i \(IDI\) są między modelami porównywalne.

  Raport zawiera: metodę i kryterium doboru, liczbę składników i dopasowanych modeli, kryteria informacyjne modelu zerowego, kolejne modele ścieżki doboru (każdy z wartością \(-2\ln L\), kryteriami AIC, AICc, BIC, współczynnikami \(R_{Pseudo}^2\), \(R^2_{Nagelkerke}\), \(R^2_{Cox-Snell}\) oraz tabelą współczynników i ilorazów szans) i porównanie każdej sąsiedniej pary modeli testem ilorazu wiarygodności (statystyka \(\chi^2\), stopnie swobody, wartość \(p\)). Jeśli w oknie analizy wybrano ocenę wartości prognostycznej, dla każdej sąsiedniej pary modeli wyznaczane są także porównanie krzywych ROC, \(NRI\) i \(IDI\) – niezależnie od tego, czy modele są zagnieżdżone. Najlepszy model według wybranego kryterium jest oznaczony w raporcie. Jeśli żaden składnik nie poprawia modelu zerowego, raport informuje, że najlepszy jest model zerowy. Przy metodzie wszystkich podzbiorów sąsiednie modele mogą nie być zagnieżdżone – wówczas test ilorazu wiarygodności nie jest wykonywany.

  Uwaga! Wartości \(p\) i przedziały ufności w modelu wybranym automatycznie są zbyt optymistyczne, ponieważ ten sam zbiór danych posłużył do wyboru zmiennych i do oszacowania ich efektów. Dobór automatyczny warto traktować jako pomoc w poszukiwaniu modelu, a ostateczny wybór oprzeć na wiedzy merytorycznej. Wybrany model należy zbudować ponownie w oknie Regresja logistyczna i ocenić jego jakość.

Jak ustawić analizę

Statystyka \(\to\) Modele wielowymiarowe \(\to\) Regresja logistyczna – porównywanie modeli.

Wykonanie i interpretacja