Liniowa regresja wieloraka

Polecenie:

Statystyka Modele wielowymiarowe Regresja wieloraka

Budowany model regresji wielorakiej pozwala na zbadanie wpływu wielu zmiennych niezależnych (X₁,X₂, . . . ,X_k) na jedną zmienną zależną (Y). Najczęściej wykorzystywaną odmianą regresji wielorakiej jest Liniowa Regresja Wieloraka. Jest ona rozszerzeniem modeli regresji liniowej opartej o współczynnik korelacji liniowej Pearsona. Zakłada ona występowanie liniowego związku pomiędzy badanymi zmiennymi. Liniowy model regresji wielorakiej przyjmuje postać:

gdzie:
Y - zmienna zależna, objaśniana przez model,
X₁,X₂, . . .X_k - zmienne niezależne, objaśniające,
β₁,β₂, . . .β_k - parametry,
ε - składnik losowy (reszta modelu).

Jeśli model został stworzony w oparciu o próbę o liczności n powyższe równanie można przedstawić w postaci macierzowej:

gdzie:

Rozwiązaniem równania jest wówczas wektor ocen parametrów β₁,β₂, . . .β_k nazywanych współczynnikami regresji:

Współczynniki te szacowane są poprzez klasyczną metodę najmniejszych kwadratów. Na podstawie tych wartości możemy wnioskować o wielkości wpływu zmiennej niezależnej (dla której ten współczynnik został oszacowany) na zmienną zależną. Podają o ile jednostek zmieni się zmienna zależna, gdy zmienną niezależną zmienimy o 1 jednostkę. Wielkość tego błędu wyliczana jest ze wzoru:

gdzie:
to wektor reszt modelu (różnica pomiędzy rzeczywistymi wartościami zmiennej zależnej Y a wartościami przewidywanymi na podstawie modelu)

Zmienne fikcyjne i interakcje w modelu
Omówienie przygotowania zmiennych fikcyjnych i interakcji przedstawiono w rozdziale: Przygotowanie zmiennych do analizy w modelach wielowymiarowych.
Uwaga!
Budując model należy pamiętać, że liczba obserwacji musi być większa lub równa liczbie szacowanych parametrów modelu (n>=k + 1).

Weryfikacja modelu

• Istotność statystyczna poszczególnych zmiennych w modelu
  

  Na podstawie współczynnika oraz jego błędu szacunku możemy wnioskować czy zmienna niezależna, dla której ten współczynnik został oszacowany wywiera istotny wpływ na zmienną zależną. W tym celu posługujemy się testem t-Studenta.
  
  Statystyka testowa ma rozkład t-Studenta z n - k stopniami swobody. Wyznaczoną na podstawie statystyki testowej wartość p porównujemy z poziomem istotności α
  

  • jeżeli p ≤α ⇒ odrzucamy H₀ przyjmując H₁,
  • jeżeli p >α ⇒ nie ma podstaw odrzucić H₀.
  
  
• Jakość zbudowanego modelu liniowej regresji wielorakiej możemy ocenić kilkoma miarami

  • Błąd standardowy estymacji (SE_e) – jest miarą dopasowania modelu. Miara ta opiera się na resztach modelu, czyli rozbieżności pomiędzy rzeczywistymi wartościami zmiennej zależnej w próbie a wartościami zmiennej zależnej wyliczonej na podstawie zbudowanego modelu. Najlepiej byłoby, gdyby różnica ta była jak najbliższa zeru dla wszystkich badanych obiektów próby. Zatem, aby model był dobrze dopasowany, błąd standardowy estymacji (wyrażony jako wariancja reszt modelu) powinien być jak najmniejszy.

  • Współczynnik korelacji wielorakiej ∈ <0; 1> - określa siłę oddziaływania zespołu zmiennych X₁,X₂, . . .X_k na zmienną zależną Y.

  • Współczynnik determinacji wielorakiej (R²) - jest miarą dopasowania modelu. Wartość tego współczynnika mieści się w przedziale < 0; 1 >, gdzie 1 oznacza doskonałe dopasowanie modelu, 0 – zupełny bark dopasowania. Wyraża on procent zmienności zmiennej zależnej tłumaczony przez model. Ponieważ wartość współczynnika R² zależy od dopasowania modelu, ale jest również wrażliwa na ilość zmiennych w modelu i liczność próby, bywają sytuacje, w których może być obarczona pewnym błędem. Dalego też wyznacza się poprawianą wartość tego parametru: R²_adj

  • Istotność statystyczna wszystkich zmiennych w modelu
    Podstawowym narzędziem szacującym istotność wszystkich zmiennych w modelu jest test analizy wariancji (test F). Test ten weryfikuje jednocześnie 3 równoważne hipotezy:
    
    
    Statystyka ta podlega rozkładowi F-Snedecora z k i n - (k + 1) stopniami swobody. Wyznaczoną na podstawie statystyki testowej wartość p porównujemy z α
    

    • jeżeli p ≤α ⇒ odrzucamy H₀ przyjmując H₁,
    • jeżeli p >α ⇒ nie ma podstaw odrzucić H₀.

Więcej informacji o zmiennych w modelu

• Standaryzowane b₁, b₂, . . . , b_k - w odróżnieniu od parametrów surowych (które w zależności od opisywanej zmiennej są wyrażone w różnych jednostkach miary i nie mogą być bezpośrednio porównywane) standaryzowane oceny parametrów modelu pozwalają porównywać wkład poszczególnych zmiennych w wyjaśnienie zmienności zmiennej zależnej Y.

• Macierz korelacji - zawiera informacje o sile związku pomiędzy poszczególnymi zmiennymi, czyli współczynnik korelacji Pearsona. Wspólczynnikiem tym badamy korelację dla każdej pary zmiennych, nie uwzględniając wpływu pozostałych zmiennych w modelu.

• Macierz kowariancji – podobnie jak macierz korelacji, zawiera informacje o związku liniowym pomiędzy poszczególnymi zmiennymi. Przy czym wartość ta nie jest wystandaryzowana.

• Współczynnik korelacji cząstkowej ∈ <-1; 1> - jest miarą korelacji pomiędzy konkretną zmienną niezależną X_i (uwzględniając jej skorelowanie z pozostałymi zmiennymi w modelu) a zmienną zależną Y (uwzględniając jej skorelowanie z pozostałymi zmiennymi w modelu).
  Kwadrat tego współczynnika to współczynnik determinacji cząstkowej ∈ <0; 1> - oznacza stosunek wyłącznej zmienności danej zmiennej niezależnej X_i do tej zmienności zmiennej zależnej Y, która nie została wyjaśniona przez pozostałe zmienne w modelu.
  Im wartość tych współczynników znajduje się bliżej 0, tym bardziej bezużyteczną informację niesie badana zmienna, czyli jest ona nadmiarowa.

• Współczynnik korelacji semicząstkowej ∈ <-1; 1> - jest miarą korelacji pomiędzy konkretną zmienną niezależną X_i (uwzględniając jej skorelowanie z pozostałymi zmiennymi w modelu) a zmienną zależną Y (NIE uwzględniając jej skorelowanie z pozostałymi zmiennymi w modelu).
  Kwadrat tego współczynnika to współczynnik determinacji semicząstkowej ∈ <0; 1> - oznacza stosunek wyłącznej zmienności danej zmiennej niezależnej X_i do całkowitej zmienności zmiennej zależnej Y. Im wartość tych współczynników znajduje się bliżej zera, tym bardziej bezużyteczną informację niesie badana zmienna, czyli jest ona nadmiarowa.

• R-kwadrat ∈ <0; 1> - wyraża on procent zmienności danej zmiennej niezależnej X_i tłumaczony przez pozostałe zmienne niezależne. Im bliżej wartości 1 tym silniej badana zmienna związana jest liniowo z pozostałymi zmiennymi niezależnymi, co może oznaczać, że jest ona zmienną nadmiarową.

• Tolerancja=1-R² ∈ <0; 1> - wyraża on procent zmienności danej zmiennej niezależnej X_i NIE tłumaczony przez pozostałe zmienne niezależne. Im wartość tolerancji jest bliższa 0 tym silniej badana zmienna związana jest liniowo z pozostałymi zmiennymi niezależnymi, co może oznaczać, że jest ona zmienną nadmiarową.

• Porównanie modelu pełnego z modelem po usunięciu danej zmiennej - porównanie tych dwóch modeli dokonujemy:

  • testem F, w sytuacji gdy z modelu usuwamy jedną zmienną lub wiecej niż jedną zmienną (patrz porównywanie modeli),
  • testem t-Studenta, gdy z modelu usuwamy tylko jedną zmienną. Jest to ten sam test, którym badamy istotność poszczególnych zmiennych w modelu.
  
  W przypadku usunięcia tylko jednej zmiennej wyniki obu tych testów są tożsame. Jeśli różnica pomiędzy porównywanymi modelami jest istotna statystycznie (wartość p<=α), wówczas model pełny jest istotnie lepszy niż model zredukowany. To oznacza, że badana zmienna nie jest nadmiarowa, wywiera ona istotny wpływ na dany model i nie powinna być z niego usuwana.

• Wykresy rozrzutu - wykresy te pozwalają dokonać subiektywnej oceny liniowości związku pomiędzy zmiennymi i zidentyfikować punkty odstające. Dodatkowo wykresami rozrzutu możemy posłużyć się w analizie reszt modelu.

• Obserwacje odstające
  Badając reszty modelu szybko można uzyskać wiedzę na temat wartości odstających. Obserwacje takie mogą bardzo zaburzyć równanie regresji, ponieważ mają duży wpływ na wartości współczynników tego równania. Jeśli dana reszta e_i jest oddalona o więcej niż 3 odchylenia standardowe od wartości średniej, wówczas obserwacje taką można uznać za obserwacje odstającą. Usunięcie obserwacji odstającej może w znaczącym stopniu przyczynić się do poprawy modelu.

• Normalność rozkładu reszt modelu
  Założenie to sprawdzamy przy pomocy testu normalności Lillieforsa. Duża różnica między rozkładem reszt a rozkładem normalnym (wartość p<=α) może zaburzać ocenę istotności współczynników poszczególnych zmiennych modelu.

• Homoskedastyczność (stałość wariancji)
  By sprawdzić czy istnieją obszary, gdzie wariancja reszt modelu jest zwiększona lub zmniejszona posługujemy się wykresami:

  • reszty względem wartości przewidywanych
  • kwadrat reszty względem wartości przewidywanych
  • reszty względem wartości obserwowanych
  • kwadrat reszty względem wartości obserwowanych

• Autokorelacja reszt modelu
  Aby zbudowany model można było uznać za poprawny, wartości reszt nie powinny być ze sobą skorelowane (dla wszystkich par e_i, e_j). Założenie to możemy sprawdzić wyliczając statystykę testu Durbina-Watsona d. Aby sprawdzić dodatnią autokorelację na poziomie istotności α, sprawdzamy położenie statystyki d w stosunku do górnej d_U,α i dolnej d_L,α wartości krytycznej:

  • Jeżeli d < d_L,α – błędy są dodatnio skorelowane;
  • Jeżeli d > d_U,α – błędy nie są dodatnio skorelowane;
  • Jeżeli d_L,α < d < d_U,α – wynik testu jest niejednoznaczny.

  Aby sprawdzić dodatnią autokorelację na poziomie istotności α, sprawdzamy położenie wartości 4-d w stosunku do górnej d_U,α i dolnej d_L,α wartości krytycznej:

  • Jeżeli 4-d < d_L,α – błędy są ujemnie skorelowane;
  • Jeżeli 4-d > d_U,α – błędy nie są ujemnie skorelowane;
  • Jeżeli d_L,α < 4-d < d_U,α – wynik testu jest niejednoznaczny.

  Wartości krytyczne testu Durbina-Watsona dla poziomu istotności α=0.05 odczytujemy z tablic.

Najczęściej ostatnim etapem analizy regresji jest wykorzystanie zbudowanego i uprzednio zweryfikowanego modelu do predykcji. Przewidywanie wartości zmiennej zależnej jest możliwe dla zadanych wartości zmiennych niezależnych. Oszacowana wartość wyliczana jest z pewnym błędem. Dlatego też dodatkowo dla wyliczonej wartości wyznaczane są granice wynikające z błędu:

• dla wartości oczekiwanej wyznaczane są granice ufności,
• dla pojedynczego punktu wyznaczane są granice predykcji.

Pewien wydawca książek chciał się dowiedzieć, jaki wpływ na zysk brutto ze sprzedaży mają takie zmienne jak: koszty produkcji, koszty reklamy, koszty promocji bezpośredniej, suma udzielonych rabatów, popularność autora. W tym celu przeanalizował 40 pozycji wydanych w ciągu ostatniego roku. Fragment danych przedstawia poniższy rysunek:

Pięć pierwszych zmiennych wyrażonych jest w tysiącach dolarów - są to więc zmienne zebrane na skali interwałowej. Natomiast ostatnia zmienna: popularność autora – to zmienna dychotomiczna, gdzie 1 oznacza autora znanego, 0 oznacza autora nieznanego.

Na podstawie uzyskanej wiedzy wydawca planuje przewidzieć zysk brutto z kolejnej wydawanej książki znanego autora. Koszty, jakie zamierza ponieść to: koszty produkcji ≈ 11, koszty reklamy ≈ 13, koszty promocji bezpośredniej ≈ 0.5, suma udzielonych rabatów ≈ 0.5.

Budujemy model liniowej regresji wielorakiej wybierając: zysk brutto – jako zmienną zależną Y , koszty produkcji, koszty reklamy, koszty promocji bezpośredniej, suma udzielonych rabatów, popularność autora – jako zmienne niezależne X₁,X₂,X₃,X₄,X_k. W rezultacie wyliczone zostaną współczynniki równania regresji oraz miary pozwalające ocenić jakość modelu.

• Jeśli koszt produkcji wzrośnie o 1 tysiąc dolarów, to zysk brutto wzrośnie o około 2.56 tysiące dolarów, przy złożeniu, że pozostałe zmienne się nie zmienią;
• Jeśli koszt reklamy wzrośnie o 1 tysiąc dolarów, to zysk brutto wzrośnie o około 2 tysiące dolarów, przy złożeniu, że pozostałe zmienne się nie zmienią;
• Jeśli koszt promocji bezpośrenidej wzrośnie o 1 tysiąc dolarów, to zysk brutto wzrośnie o około 4.67 tysiące dolarów, przy złożeniu, że pozostałe zmienne się nie zmienią;
• Jeśli suma udzielonych rabatów wzrośnie o 1 tysiąc dolarów, to zysk brutto wzrośnie o około 1.42 tysiące dolarów, przy złożeniu, że pozostałe zmienne się nie zmienią;
• Jeśli książka została napisana przez autora znanego (oznaczonego przez 1), to w modelu popularność autora przyjmujemy jako wartość 1 i otrzymujemy równanie:
  
  zysk_brutto = 14.33 + 2.56(k_prod) + 2(k_rekl) + 4.67(k_prom) + 1.42(rabaty)
  
  Jeśli natomiast książka została napisana przez autora nieznanego (oznaczonego przez 0), to w modelu popularność autora przyjmujemy jako wartość 0 i otrzymujemy równanie:
  
  zysk_brutto = 4.18 + 2.56(k_prod) + 2(k_rekl) + 4.67(k_prom) + 1.42(rabaty)

Wynik testu t-Studenta uzyskany dla każdej zmiennej wskazuje, że tylko koszt produkcji, koszt reklamy oraz popularność autora wywiera istotny wpływ na otrzymany zysk. Jednocześnie, dla tych zmiennych standaryzowane współczynniki b są największe.

Dodatkowo, model jest dobrze dopasowany o czym świadczy: mały błąd standardowy estymacji SE_e = 8.086501, wysoka wartość współczynnika determinacji wielorakiej R² = 0.850974 i poprawionego współczynnika determinacji wielorakiej R²_adj = 0.829059 oraz wynik testu F analizy wariancji: p < 0.000001.

Na podstawie interpretacji dotychczasowych wyników możemy przypuszczać, że część zmiennych nie wywiera istotnego wpływu na zysk i może być zbyteczna.

Aby model był dobrze sformułowany interwałowe zmienne niezależne powinny być silnie skorelowane ze zmienną zależną i stosunkowo słabo pomiędzy sobą. Możemy to sprawdzić wyliczając macierz korelacji i macierz kowariancji:

Wartości współczynników korelacji cząstkowej i semicząstkowej wskazują, że najmniejszy wkład w budowany model mają: koszt promocji bezpośredniej i suma udzielonych rabatów. Jednak, są to zmienne najmniej skorelowane z pozostałymi w modelu, o czym świadczy niska wartość R² i wysoka wartość tolerancji. Ostatecznie, ze statystycznego punktu widzenia, modele bez tych zmiennych nie były by modelami gorszymi niż model obecny (patrz wynik testu t-Studenta dla porównywania modeli). To od decyzji badacza zależy, czy pozostawi ten model, czy zbuduje nowy model pozbawiony kosztów promocji bezpośredniej i sumy udzielonych rabatów. My pozostawiamy model obecny.

Na koniec przeprowadzimy analizę reszt. Fragment tej analizy znajduje się poniżej:

Możemy zauważyć, że jedna z reszt modelu jest obserwacją odstającą – jest oddalona o więcej niż 3 odchylenia standardowe od wartości średniej. Jest to obserwacja o numerze 16. Obserwację te możemy łatwo znaleźć kreśląc wykres resz względem obserwowanych lub przewidywanych wartości zmiennej Y.

Ten odstający punkt zaburza założenie dotyczące homoskedastyczności. Założenie homoskedastyczności było by spełnione (tzn. wariancja reszt opisana na osi Y byłaby podobna, gdy przechodzimy wzdłuż osi X), gdybyśmy ten punkt odrzucili. Dodatkowo, rozkład reszt nieco odbiega od rozkładu normalnego (wartość p testu Lilieforsa wynosi p = 0.016415):

Przyglądając się dokładniej punktowi odstającemu (pozycja 16 w danych do zadania) widzimy, że książka ta jako jedyna wykazuje wyższe koszty niż zysk brutto (zysk brutto=4 tysiące dolarów, suma kosztów = (8+6+0.33+1.6) = 15.93 tysiące dolarów).

Uzyskany model możemy poprawić usuwając z niego punkt odstający. Wymaga to ponownego przeprowadzenia analizy z włączonym filtrem wykluczającym punkt odstający.