Porównywanie modeli regresji wielorakiej

Kiedy stosować:

Liniowa regresja wieloraka daje możliwość jednoczesnej analizy wielu zmiennych niezależnych. Pojawia się więc problem wyboru optymalnego modelu. W natłoku informacji, jakie niesie zbyt duży model, istnieje możliwość zagubienia ważnych informacji. Zbyt mały model może natomiast pominąć te cechy, które w wiarygodny sposób mogłyby opisać badane zjawisko – nie liczba zmiennych w modelu, ale ich jakość decyduje o jakości modelu. W wyborze zmiennych niezależnych niezbędna jest wiedza i doświadczenie związane z badanym zjawiskiem. Należy pamiętać, by w modelu znajdowały się zmienne silnie skorelowane ze zmienną zależną i słabo skorelowane między sobą.

Definicje miar

Nie istnieje jedna prosta reguła statystyczna, która decydowałaby o liczbie zmiennych niezbędnych w modelu. Najczęściej w porównaniu posługujemy się miarami dopasowania modelu, takimi jak: \(R_{adj}^2\) – poprawiona wartość współczynnika determinacji wielorakiej (im wyższa wartość, tym lepiej dopasowany model), \(SE_e\) – błąd standardowy estymacji (im niższa wartość, tym lepiej dopasowany model), lub kryteria informacyjne AIC, AICc, BIC (im niższa wartość, tym lepszy model). W tym celu można również wykorzystać test F oparty o współczynnik determinacji wielorakiej \(R^2\), służący do weryfikacji hipotezy, że dopasowanie obu porównywanych modeli jest tak samo dobre.

Jeśli porównywane modele nie różnią się istotnie, powinniśmy wybrać ten z mniejszą liczbą zmiennych – brak różnicy oznacza bowiem, że zmienne, które są w modelu pełnym, a nie ma ich w modelu zredukowanym, nie wnoszą istotnej informacji. Jeśli natomiast różnica w jakości dopasowania modeli jest istotna statystycznie, oznacza to, że jeden z nich (ten z większą liczbą zmiennych, o większym \(R^2\) lub mniejszej wartości kryterium informacyjnego) jest istotnie lepszy niż drugi.

Ręczne porównywanie modeli polega na zbudowaniu 2 modeli:

• pełnego – modelu z większą liczbą zmiennych,
• zredukowanego – modelu z mniejszą liczbą zmiennych; model taki powstaje z modelu pełnego po usunięciu zmiennych, które z punktu widzenia badanego zjawiska są zbędne.

Wybór zmiennych niezależnych w porównywanych modelach, a następnie wybór lepszego modelu na podstawie uzyskanych wyników porównania, należy do badacza.

Automatyczny dobór modelu – program sam buduje kolejne modele i wskazuje najlepszy według wybranego kryterium.

Składniki modelu. Jednostką, którą metody automatyczne dodają do modelu lub z niego usuwają, jest składnik: pojedyncza zmienna, cała zmienna fikcyjna (wszystkie jej kolumny 0–1 naraz) albo interakcja. Obowiązuje zasada hierarchii: interakcja może znaleźć się w modelu tylko wtedy, gdy są w nim jej efekty główne, i tylko ona może zostać usunięta przed nimi.

Kryterium doboru wybieramy w oknie analizy:

• AIC, AICc lub BIC – kryteria informacyjne; lepszy jest model o mniejszej wartości kryterium. Ruch (dodanie lub usunięcie składnika) jest przyjmowany tylko wtedy, gdy obniża kryterium;
• \(p\) testu zagnieżdżonego – test F porównujący model przed zmianą i po zmianie, z zadanym progiem \(p\). Składnik jest usuwany, gdy \(p\) jest większe od progu, a dodawany, gdy \(p\) jest mniejsze od progu. Ta sama wartość \(p\) jest pokazywana w raporcie jako porównanie sąsiednich modeli.

Metody doboru:

• eliminacja wstecz – start od modelu ze wszystkimi zmiennymi; w każdym kroku usuwany jest ten składnik, którego usunięcie najbardziej obniża kryterium; koniec, gdy żadne usunięcie już go nie obniża;
• selekcja w przód – start od modelu zerowego (tylko wyraz wolny); w każdym kroku dodawany jest składnik najbardziej obniżający kryterium; koniec, gdy żadne dodanie już go nie obniża;
• krokowa dwukierunkowa – start od modelu zerowego; w każdym kroku rozważane są zarówno dodania, jak i usunięcia składników i wybierany jest najlepszy ruch; koniec, gdy żaden ruch nie poprawia kryterium;
• wszystkie podzbiory – dopasowywane są wszystkie modele zgodne z zasadą hierarchii (maksymalnie 15 składników), a w raporcie prezentowany jest najlepszy model każdej wielkości; metoda korzysta wyłącznie z kryteriów informacyjnych.

Wszystkie modele są liczone na tym samym zbiorze obserwacji – wiersze z brakami w którejkolwiek ze zmiennych kandydujących są odrzucane raz, przed analizą. Dzięki temu kryteria informacyjne i testy porównawcze są między modelami porównywalne.

Raport zawiera: metodę i kryterium doboru, liczbę składników i dopasowanych modeli, kryteria informacyjne modelu zerowego, kolejne modele ścieżki doboru (każdy z miarami dopasowania \(R_{adj}^2\), \(SE_e\), AIC, AICc, BIC oraz tabelą współczynników) i porównanie każdej sąsiedniej pary modeli testem F (statystyka, stopnie swobody, wartość \(p\)). Najlepszy model według wybranego kryterium jest oznaczony w raporcie. Jeśli żaden składnik nie poprawia modelu zerowego, raport informuje, że najlepszy jest model zerowy. Przy metodzie wszystkich podzbiorów sąsiednie modele mogą nie być zagnieżdżone – wówczas test F nie jest wykonywany.

Jak ustawić analizę

Statystyka \(\to\) Modele wielowymiarowe \(\to\) Regresja wieloraka – porównywanie modeli.

Wykonanie i interpretacja