Współczynnik Kappa Fleissa i test badający jego istotność

Kiedy stosować:

Współczynnik Kappa Fleissa określa zgodność pomiarów prowadzonych przez kilku sędziów (Fleiss, 1971[60]) i jest rozszerzeniem Kappy Cohena, pozwalającego na badanie zgodności jedynie dwóch sędziów. Każdy z \(n\) losowo wybranych obiektów może być oceniany przez inny losowy zestaw \(k\) sędziów. Analiza opiera się na danych przekształconych do tabeli o \(n\) wierszach i \(c\) kolumnach, gdzie \(c\) stanowi liczbę możliwych kategorii, do których sędziowie przydzielają badane obiekty.

Warunki stosowania

pomiar na skali nominalnej – ewentualne uporządkowanie kategorii nie jest brane pod uwagę.

Definicje miar

Współczynnik Kappa (\(\hat \kappa\)) – wartość \(\hat \kappa=1\) oznacza pełną zgodność sędziów, natomiast \(\hat \kappa=0\) oznacza zgodność, jaka powstałaby, gdyby opinie sędziów wydane były w sposób losowy. Wartości ujemne Kappa wskazują natomiast na zgodność mniejszą niż na poziomie losowym.

Uwaga! Wyznaczanie współczynnika Kappa Fleissa jest zbliżone koncepcyjnie do metody Mantela-Haenszela. Wyznaczona Kappa jest ogólną miarą podsumowującą zgodność wszystkich ocen sędziowskich i może być wyznaczona jako Kappa utworzona z poszczególnych warstw, którymi są konkretne oceny sędziowskie (Fleiss, 2003[62]). Dlatego, jako podsumowanie każdej warstwy, można wyznaczyć zgodność sędziowską (współczynnik Kappa) podsumowującą każdą możliwą ocenę z osobna.

Jak ustawić analizę

Statystyka \(\to\) Testy nieparametryczne \(\to\) Kappa-Fleissa.

Wykonanie i interpretacja

Przykład 1. (plik temperament.pqs)
20 ochotników bierze udział w zabawie mającej na celu ustalenie typu osobowości badanych. Każdy z ochotników dysponuje oceną wystawioną przez 7 różnych obserwatorów (najczęściej osób z bliskiego otoczenia lub rodziny). Każdy z obserwatorów został zapoznany z podstawowymi cechami opisującymi temperament w poszczególnych typach osobowości: choleryk, flegmatyk, melancholik, sangwinik. Badamy zgodność obserwatorów w przypisywaniu typów osobowości. Fragment danych przedstawia poniższa tabela.

\(\hat\kappa=0.244918\), \(p<0.000001\) (istotne statystycznie, \(\alpha=0.05\))

Obserwujemy niewielki, lecz statystycznie istotny współczynnik Kappa, co oznacza nieprzypadkową zgodność ocen sędziowskich.

Istotna zgodność dotyczy każdej oceny, czego potwierdzeniem jest raport podsumowujący zgodność dla każdej warstwy (dla każdej oceny) oraz wykres prezentujący poszczególne współczynniki Kappa i Kappę podsumowującą całość.

Ciekawy może być fakt, że najwyższa zgodność dotyczy oceny flegmatyków (Kappa=0.479952). Przy niewielkiej liczbie obserwowanych osób warto również wykonać wykres obrazujący, w jaki sposób obserwatorzy oceniali każdą z nich.

W tym przypadku tylko osoba nr 14 uzyskała jednoznaczną ocenę typu osobowości – sangwinik. Osoby nr 13 i 16 ocenione były jako typ flegmatyk przez 6 obserwatorów (na 7 możliwych). W przypadku pozostałych osób panowała nieco mniejsza zgodność ocen. Najtrudniejszy do zdefiniowania typ osobowości wydaje się cechować ostatnią osobę, która uzyskała najbardziej różnorodny zestaw ocen.

DLA ZAINTERESOWANYCH

Współczynnik Kappa (\(\hat \kappa\)) wyraża się wzorem:

\[ \hat \kappa=\frac{P_o-P_e}{1-P_e}, \]

gdzie:
\(P_o=\frac{1}{kn(k-1)}\sum_{i=1}^n\sum_{j=1}^c x_{ij}-kn\),
\(P_e=\sum_{i=1}^c q_j^2\),
\(q_j=\frac{1}{km}\sum_{i=1}^n x_{ij}\),
\(x_{ij}\) – liczba sędziów przydzielających \(i\)-temu obiektowi kategorię \(j\).

Dla współczynnika \(\hat \kappa\) można wyznaczyć błąd standardowy \(SE\), który pozwala na zbadanie istotności statystycznej i wyznaczenie asymptotycznych przedziałów ufności.

Test Z do sprawdzania istotności współczynnika Kappa Fleissa (\(\hat \kappa\)) (ang. The Z test of significance for the Fleiss's Kappa) (Fleiss, 2003[62]) służy do weryfikacji hipotezy o zgodności ocen kilku sędziów i opiera się na współczynniku \(\hat \kappa\) wyliczonym dla próby.

Hipotezy:

\(\begin{array}{cl} \mathcal{H}_0: & \kappa= 0, \\ \mathcal{H}_1: & \kappa \ne 0. \end{array}\)

Wzory: statystyka testowa ma postać:

\[ Z=\frac{\hat \kappa}{SE}, \]

Statystyka \(Z\) ma asymptotycznie (dla dużych liczności) rozkład normalny.

Wyznaczoną na podstawie statystyki testowej wartość \(p\) porównujemy z poziomem istotności \(\alpha\): gdy \(p \le \alpha\), odrzucamy \(\mathcal{H}_0\) na rzecz \(\mathcal{H}_1\); gdy \(p > \alpha\), nie ma podstaw, aby odrzucić \(\mathcal{H}_0\).