PQStat Rzetelność skali
Kiedy stosować:
Analizę rzetelności (ang. reliability analysis) wykonuje się najczęściej wtedy, gdy budujemy skalę złożoną, czyli kwestionariusz lub test składający się z wielu pojedynczych pozycji (pytań), które sumujemy do jednego wyniku. Chcemy wówczas sprawdzić, czy poszczególne pytania rzeczywiście mierzą to samo – innymi słowy, na ile możemy ufać, że suma punktów uzyskanych ze skali dobrze oddaje badaną cechę (np. kompetencje, poziom lęku, satysfakcję z pracy). Mówimy wtedy o rzetelności skali, rozumianej jako jej wewnętrzna spójność.
Warunki stosowania
- skala złożona z co najmniej kilku pozycji (pytań), które są sumowane do jednego wyniku ogólnego,
- poszczególne pozycje skali powinny mierzyć ten sam konstrukt, czyli korelacja pomiędzy nimi powinna być wysoka – założenie to można sprawdzić, wyliczając macierz współczynników korelacji Pearsona pomiędzy pozycjami skali.
Definicje miar
Pomimo, że w zagadnieniu rzetelności mogą być wykorzystywane różne miary zgodności, najczęściej używaną techniką jest tutaj współczynnik \(\alpha\)-Cronbacha i tzw. rzetelność połówkowa.
Współczynnik \(\alpha\)-Cronbacha (ang. Cronbach's alpha) został tak nazwany po raz pierwszy przez Cronbacha w 1951[50]. Mierzy on, w uproszczeniu, stosunek zmienności poszczególnych pozycji skali do zmienności całej skali (czyli sumy tych pozycji) – innymi słowy pokazuje, jak silnie pojedyncze pytania „trzymają się razem”. Współczynnik \(\alpha\) może przyjmować dowolne wartości mniejsze lub równe 1, w tym również wartości ujemne, jednak sensowne są tylko wartości dodatnie. Jeżeli wszystkie pozycje skali są idealnie rzetelne, wówczas współczynnik rzetelności wynosi 1. Obok zwykłego współczynnika \(\alpha_C\) wyliczana jest też jego wersja standaryzowana (\(\alpha_{standard}\)), oparta na średniej korelacji pomiędzy pozycjami skali.
Pomocą w ocenie przydatności konkretnych pozycji skali służą:
- wartość współczynnika \(\alpha_C\) obliczonego po usunięciu określonej pozycji skali,
- wartość odchylenia standardowego skali obliczonego po usunięciu określonej pozycji skali,
- wartość średnia skali obliczona po usunięciu określonej pozycji skali,
- wartość korelacji określonej pozycji i sumy pozycji pozostałych.
Jeśli po usunięciu jakiejś pozycji współczynnik \(\alpha_C\) wyraźnie rośnie, jest to sygnał, że dana pozycja słabo pasuje do reszty skali i warto rozważyć jej usunięcie lub przeredagowanie.
Rzetelność połówkowa (ang. split-half reliability) to inne podejście do tego samego zagadnienia. Polega ono na losowym podzieleniu pozycji skali na dwie połowy i sprawdzeniu, na ile te dwie połówki są ze sobą zgodne (skorelowane). Wykorzystuje się do tego współczynnik rzetelności połówkowej Spearmana-Browna, opublikowany niezależnie przez Spearmana (1910)[157] i Browna (1910)[34], oraz alternatywny wzór zaproponowany przez Guttmana (1945)[74]. Jeżeli dwie losowo wybrane połówki skali są idealnie skorelowane, współczynnik rzetelności połówkowej wynosi 1.
Dodatkowo, dla skali uznanej za rzetelną, wyznacza się błąd standardowy pomiaru (ang. standard error of measurement, SEM), który informuje, jak dużego rozrzutu wyniku pomiaru możemy się spodziewać z powodu niedoskonałej rzetelności skali – im niższa rzetelność, tym większy błąd pomiaru.
Jak ustawić analizę
Okno z ustawieniami opcji rzetelności skali wywołujemy poprzez menu Statystyka\(\to\)Rzetelność skali.
Wykonanie i interpretacja
Przykład 1. (plik skala.pqs)
Pomocą w ocenie przydatności przyszłych pracowników pewnej firmy konsultingowej służy między innymi opracowana w firmie „skala kompetencji”. Oprócz rozmowy kwalifikacyjnej kandydaci wypełniają kwestionariusz zawierający między innymi pytania tworzące „skalę kompetencji”. Skala zawiera 7 pytań. Za każde z pytań można zyskać od 1 do 5 punktów, gdzie 1 oznacza najniższą, a 5 najwyższą możliwą notę. Łącznie uzyskać można 35 punktów. Punkty w tej skali uzyskane przez 24 kandydatów zawiera poniższa tabela:
| Lp | KK1 | KK2 | KK3 | KK4 | KK5 | KK6 | KK7 | SUMA |
| 1 | 3 | 3 | 5 | 5 | 5 | 5 | 1 | 27 |
| 2 | 5 | 4 | 4 | 3 | 3 | 5 | 1 | 25 |
| 3 | 5 | 5 | 3 | 5 | 3 | 2 | 1 | 24 |
| 4 | 1 | 2 | 5 | 5 | 5 | 5 | 2 | 25 |
| 5 | 4 | 5 | 5 | 5 | 5 | 5 | 1 | 30 |
| 6 | 4 | 4 | 5 | 5 | 5 | 5 | 3 | 31 |
| 7 | 1 | 1 | 5 | 5 | 5 | 5 | 2 | 24 |
| 8 | 5 | 5 | 5 | 5 | 3 | 5 | 3 | 31 |
| 9 | 3 | 2 | 2 | 5 | 4 | 2 | 1 | 19 |
| 10 | 3 | 4 | 3 | 4 | 4 | 2 | 1 | 21 |
| 11 | 4 | 4 | 3 | 4 | 4 | 4 | 4 | 27 |
| 12 | 1 | 1 | 3 | 4 | 1 | 1 | 3 | 16 |
| 13 | 3 | 3 | 4 | 5 | 5 | 5 | 1 | 26 |
| 14 | 4 | 5 | 5 | 5 | 5 | 5 | 2 | 31 |
| 15 | 1 | 4 | 4 | 4 | 1 | 4 | 4 | 22 |
| 16 | 1 | 4 | 5 | 5 | 5 | 5 | 1 | 26 |
| 17 | 5 | 5 | 5 | 5 | 5 | 5 | 2 | 32 |
| 18 | 5 | 3 | 5 | 5 | 3 | 5 | 4 | 30 |
| 19 | 1 | 1 | 2 | 2 | 2 | 1 | 4 | 13 |
| 20 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 35 |
| 21 | 5 | 3 | 5 | 5 | 5 | 5 | 1 | 29 |
| 22 | 5 | 5 | 5 | 5 | 5 | 1 | 5 | 31 |
| 23 | 2 | 1 | 5 | 3 | 2 | 4 | 1 | 18 |
| 24 | 5 | 5 | 5 | 5 | 5 | 5 | 5 | 35 |
Chcemy sprawdzić dokładność zastosowanego narzędzia oceny kompetencji (zastosowanej skali). W tym celu przeprowadzona zostanie analiza rzetelności.
Macierz korelacji wskazuje, że ostatnia pozycja jest najsłabiej skorelowana z pozostałymi. Podejrzewamy zatem, że pozycja ta nie mierzy tego samego konstruktu, co pozostałe pozycje.
Dokładniejsza analiza każdej pozycji wskazuje, że wszystkie one, za wyjątkiem ostatniej pozycji, w podobnym stopniu wpływają na rzetelność całej skali. Korelacja pozycji KK7 z pozostałymi pozycjami skali jest najsłabsza i wynosi 0.026954. Po usunięciu ze skali pozycji KK7 wartość współczynnika Cronbacha wzrosłaby do 0.803619.
Podobne wnioski możemy wysunąć na podstawie analizy rzetelności połówkowej wykonanej na pozycjach losowo podzielonych na 2 części (KK1, KK3, KK5) (KK2, KK4, KK6, KK7).
Po usunięciu tej pozycji i ponownym wykonaniu analizy, wszystkie współczynniki rzetelności rzeczywiście są wyższe.
Wzory
Współczynnik \(\alpha\)-Cronbacha:
gdzie:
\(k\) – liczba pozycji w skali,
\(sd_i^2\) – wariancja pozycji \(i\),
\(sd_t^2\) – wariancja sumy wszystkich pozycji.
Standaryzowany współczynnik rzetelności:
gdzie:
\(\overline{r_p}\) – średnia współczynników korelacji Pearsona wszystkich (\(k(k-1)/2\)) pozycji skali.
Rzetelność połówkowa Spearmana-Browna:
gdzie:
\(r_p^*\) – współczynnik korelacji Pearsona pomiędzy połówkami skali.
Rzetelność połówkowa Guttmana:
gdzie:
\(sd_{t1}^2\), \(sd_{t2}^2\) – wariancja pierwszej i drugiej połowy skali,
\(sd_t^2\) – wariancja sumy wszystkich pozycji.
Błąd standardowy pomiaru (SEM), wyznaczany dla skali rzetelnej:
lub