Liniowa regresja wieloraka

Kiedy stosować:

Budowany model regresji wielorakiej pozwala na zbadanie wpływu wielu zmiennych niezależnych (\(X_1\), \(X_2\), \(\ldots\), \(X_k\)) na jedną zmienną zależną (\(Y\)). Najczęściej wykorzystywaną odmianą regresji wielorakiej jest liniowa regresja wieloraka. Jest ona rozszerzeniem modeli regresji liniowej opartej o współczynnik korelacji liniowej Pearsona. Zakłada występowanie liniowego związku pomiędzy badanymi zmiennymi. Liniowy model regresji wielorakiej przyjmuje postać:

gdzie:
\(Y\) – zmienna zależna, objaśniana przez model,
\(X_1,X_2,\ldots X_k\) – zmienne niezależne, objaśniające,
\(\beta_0,\beta_1,\beta_2,\ldots \beta_k\) – parametry,
\(\epsilon\) – składnik losowy (reszta modelu).

Warunki stosowania

Definicje miar

Zmienne fikcyjne i interakcje w modelu – omówienie przygotowania zmiennych fikcyjnych i interakcji przedstawiono w rozdziale Przygotowanie zmiennych do analizy w modelach wielowymiarowych Przygotowanie zmiennych do analizy w modelach wielowymiarowych.

Współczynniki regresji – jeśli model został stworzony w oparciu o próbę o liczności \(n\), powyższe równanie można przedstawić w postaci macierzowej:

gdzie: \( Y=\left( \begin{array}{ccc} y_1\\ y_2\\ \vdots\\ y_n \end{array} \right), \) \( X=\left( \begin{array}{ccccc} 1 & x_{11} & x_{21} & \ldots & x_{k1}\\ 1 & x_{12} & x_{22} & \ldots & x_{k2}\\ \vdots & \vdots & \vdots & \ddots & \vdots\\ 1 & x_{1n} & x_{2n} & \ldots & x_{kn} \end{array} \right), \) \( \beta=\left( \begin{array}{ccc} \beta_0\\ \beta_1\\ \beta_2\\ \vdots\\ \beta_k \end{array} \right), \) \( \epsilon=\left( \begin{array}{ccc} \epsilon_1\\ \epsilon_2\\ \vdots\\ \epsilon_n \end{array} \right). \)

Rozwiązaniem równania jest wówczas wektor ocen parametrów \(\beta_0,\beta_1,\ldots,\beta_k\), nazywanych współczynnikami regresji:

Współczynniki te szacowane są poprzez klasyczną metodę najmniejszych kwadratów. Na podstawie tych wartości możemy wnioskować o wielkości wpływu zmiennej niezależnej (dla której ten współczynnik został oszacowany) na zmienną zależną – podają, o ile jednostek zmieni się zmienna zależna, gdy zmienną niezależną zmienimy o 1 jednostkę. Każdy współczynnik obarczony jest pewnym błędem szacunku, wyliczanym ze wzoru \(SE_b=\sqrt{\frac{1}{n-(k+1)}e^Te(X^TX)^{-1}}\), gdzie \(e=Y-\widehat{Y}\) to wektor reszt modelu (różnica pomiędzy rzeczywistymi wartościami zmiennej zależnej \(Y\) a wartościami \(\widehat{Y}\) przewidywanymi na podstawie modelu).

Jak ustawić analizę

Statystyka zaawansowana \(\to\) Modele wielowymiarowe \(\to\) Regresja wieloraka.

Weryfikacja modelu

Istotność statystyczna poszczególnych zmiennych w modelu – na podstawie współczynnika oraz jego błędu szacunku możemy wnioskować, czy zmienna niezależna, dla której ten współczynnik został oszacowany, wywiera istotny wpływ na zmienną zależną. W tym celu posługujemy się testem \(t\)-Studenta.

Jakość zbudowanego modelu liniowej regresji wielorakiej możemy ocenić kilkoma miarami:

• Błąd standardowy estymacji – jest miarą dopasowania modelu, opartą na resztach modelu \(e_i=y_i-\widehat{y}_i\), czyli rozbieżności pomiędzy rzeczywistymi wartościami zmiennej zależnej \(y_i\) w próbie a wartościami zmiennej zależnej \(\widehat{y}_i\) wyliczonymi na podstawie zbudowanego modelu. Aby model był dobrze dopasowany, błąd standardowy estymacji powinien być jak najmniejszy.
• Współczynnik korelacji wielorakiej \(R=\sqrt{R^2} \in \langle0; 1\rangle\) – określa siłę oddziaływania zespołu zmiennych \(X_1,X_2,\ldots X_k\) na zmienną zależną \(Y\).
• Współczynnik determinacji wielorakiej \(R^2\) – jest miarą dopasowania modelu. Wartość tego współczynnika mieści się w przedziale \(\langle0; 1\rangle\), gdzie 1 oznacza doskonałe dopasowanie modelu, 0 – zupełny brak dopasowania. Wyraża on procent zmienności zmiennej zależnej tłumaczony przez model. Ponieważ wartość współczynnika \(R^2\) zależy od dopasowania modelu, ale jest również wrażliwa na liczbę zmiennych w modelu i liczność próby, wyznacza się też jego poprawianą wartość \(R^2_{adj}\).
• Kryteria informacyjne (\(AIC\), \(AICc\), \(BIC\)) – opierają się na entropii informacji niesionej przez model (niepewności modelu), tzn. szacują utraconą informację, gdy dany model jest używany do opisu badanego zjawiska. Powinniśmy wybierać model o minimalnej wartości danego kryterium informacyjnego. Kryterium informacyjne nie jest jednak miarą absolutną – jeśli wszystkie porównywane modele źle opisują rzeczywistość, w kryterium informacyjnym nie ma sensu szukać ostrzeżenia.
• Analiza błędów dla prognoz ex post (\(MAE\), \(MPE\), \(MAPE\)) – opisują trafność prognozy, informując, o ile średnio uzyskiwane realizacje zmiennej zależnej będą się odchylać od prognoz.
• Istotność statystyczna wszystkich zmiennych w modelu – podstawowym narzędziem szacującym istotność wszystkich zmiennych w modelu jest test analizy wariancji (test F).

Więcej informacji o zmiennych w modelu:

• Standaryzowane \(b_1,b_2,\ldots,b_k\) – w odróżnieniu od parametrów surowych (które w zależności od opisywanej zmiennej są wyrażone w różnych jednostkach miary i nie mogą być bezpośrednio porównywane), standaryzowane oceny parametrów modelu pozwalają porównywać wkład poszczególnych zmiennych w wyjaśnienie zmienności zmiennej zależnej \(Y\).
• Macierz korelacji – zawiera informacje o sile związku pomiędzy poszczególnymi zmiennymi, czyli współczynnik korelacji Pearsona \(r_p \in \langle-1; 1\rangle\), wyznaczany dla każdej pary zmiennych, bez uwzględniania wpływu pozostałych zmiennych w modelu.
• Macierz kowariancji – podobnie jak macierz korelacji, zawiera informacje o związku liniowym pomiędzy poszczególnymi zmiennymi, przy czym wartość ta nie jest wystandaryzowana.
• Współczynnik korelacji cząstkowej – należy do przedziału \(\langle-1; 1\rangle\) i jest miarą korelacji pomiędzy konkretną zmienną niezależną \(X_i\) (uwzględniając jej skorelowanie z pozostałymi zmiennymi w modelu) a zmienną zależną \(Y\) (uwzględniając jej skorelowanie z pozostałymi zmiennymi w modelu). Kwadrat tego współczynnika to współczynnik determinacji cząstkowej – należy do przedziału \(\langle0; 1\rangle\) i oznacza stosunek wyłącznej zmienności danej zmiennej niezależnej \(X_i\) do tej zmienności zmiennej zależnej \(Y\), która nie została wyjaśniona przez pozostałe zmienne w modelu. Im wartość tych współczynników znajduje się bliżej 0, tym bardziej bezużyteczną informację niesie badana zmienna, czyli jest ona nadmiarowa.
• Współczynnik korelacji semicząstkowej – należy do przedziału \(\langle-1; 1\rangle\) i jest miarą korelacji pomiędzy konkretną zmienną niezależną \(X_i\) (uwzględniając jej skorelowanie z pozostałymi zmiennymi w modelu) a zmienną zależną \(Y\) (NIE uwzględniając jej skorelowania z pozostałymi zmiennymi w modelu). Kwadrat tego współczynnika to współczynnik determinacji semicząstkowej – należy do przedziału \(\langle0; 1\rangle\) i oznacza stosunek wyłącznej zmienności danej zmiennej niezależnej \(X_i\) do całkowitej zmienności zmiennej zależnej \(Y\).
• R-kwadrat (\(R^2 \in \langle0; 1\rangle\)) – wyraża procent zmienności danej zmiennej niezależnej \(X_i\) tłumaczony przez pozostałe zmienne niezależne. Im bliżej wartości 1, tym silniej badana zmienna związana jest liniowo z pozostałymi zmiennymi niezależnymi, co może oznaczać, że jest ona zmienną nadmiarową.
• Współczynnik inflacji wariancji (\(VIF \in \langle1; \infty)\)) – określa, jak bardzo wariancja szacowanego współczynnika regresji jest zwiększona z powodu współliniowości. Im bliżej wartości 1, tym mniejsza współliniowość. Przyjmuje się, że silna współliniowość występuje, gdy \(VIF>5\)[151].
• Tolerancja \(=1-R^2 \in\langle0; 1\rangle\) – wyraża procent zmienności danej zmiennej niezależnej \(X_i\) NIE tłumaczony przez pozostałe zmienne niezależne. Im wartość tolerancji jest bliższa 0, tym silniej badana zmienna związana jest liniowo z pozostałymi zmiennymi niezależnymi, co może oznaczać, że jest ona zmienną nadmiarową.
• Porównanie modelu pełnego z modelem po usunięciu danej zmiennej – dokonujemy testem F (gdy z modelu usuwamy więcej niż jedną zmienną) lub testem \(t\)-Studenta (gdy usuwamy tylko jedną zmienną – jest to ten sam test, którym badamy istotność poszczególnych zmiennych w modelu; wyniki obu testów są wówczas tożsame). Jeśli różnica pomiędzy porównywanymi modelami jest istotna statystycznie, model pełny jest istotnie lepszy niż model zredukowany, co oznacza, że badana zmienna nie jest nadmiarowa.
• Wykresy rozrzutu – pozwalają dokonać subiektywnej oceny liniowości związku pomiędzy zmiennymi i zidentyfikować punkty odstające, a także posłużyć w analizie reszt modelu.

Analiza reszt modelu
By otrzymać poprawny model regresji, powinniśmy sprawdzić podstawowe założenia dotyczące reszt modelu:

• Obserwacje odstające – badając reszty modelu, szybko można uzyskać wiedzę na temat wartości odstających. Obserwacje takie mogą bardzo zaburzyć równanie regresji, ponieważ mają duży wpływ na wartości współczynników tego równania. Jeśli dana reszta \(e_i\) jest oddalona o więcej niż 3 odchylenia standardowe od wartości średniej, wówczas można podejrzewać, że usunięcie tej obserwacji przyczyni się do poprawy modelu. Odległość Cooka opisuje wielkość zmian współczynników regresji powstałą na skutek pominięcia danego przypadku (w programie zaznaczone pogrubioną czcionką są odległości Cooka dla przypadków przekraczających 50 percentyl statystyki rozkładu Fishera-Snedecora \(F(0.5, k+1, n-k-1)\)). Odległość Mahalanobisa dedykowana jest do wykrywania obserwacji odstających – wysokie wartości świadczą o znacznym oddaleniu danego przypadku od centrum zmiennych niezależnych.
• Normalność rozkładu reszt modelu – założenie to sprawdzamy wizualnie przy pomocy wykresu Q-Q rozkładu normalnego. Duża różnica między rozkładem reszt a rozkładem normalnym może zaburzać ocenę istotności współczynników poszczególnych zmiennych modelu.
• Homoskedastyczność (stałość wariancji) – by sprawdzić, czy istnieją obszary, gdzie wariancja reszt modelu jest zwiększona lub zmniejszona, posługujemy się wykresami reszt (lub kwadratu reszt) względem wartości przewidywanych i obserwowanych.
• Autokorelacja reszt modelu – aby zbudowany model można było uznać za poprawny, wartości reszt nie powinny być ze sobą skorelowane. Założenie to możemy sprawdzić statystyką testu Durbina-Watsona.

Wykonanie i interpretacja