Współczynnik Kappa Cohena () (Cohen J. (1960)), określa stopień zgodności dwukrotnych pomiarów tej samej zmiennej w różnych warunkach. Pomiaru tej samej zmiennej może dokonać 2
różnych obserwatorów (odtwarzalność) lub jeden obserwator może dokonać pomiaru dwukrotnie (powtarzalność). Współczynnik wyznacza się dla zależnych zmiennych kategorialnych a jego wartość zawiera się w przedziale od -1 do 1. Wartość 1 oznacza pełną zgodność, wartość 0 oznacza zgodność na poziomie takim samym jaki powstałby dla losowego rozłożenia danych w tabeli kontyngencji. Poziom pomiędzy 0 a -1 jest w praktyce nie wykorzystywany. Ujemna wartość oznacza zgodność na poziomie mniejszym niż powstałą dla losowego rozłożenia danych w tabeli kontyngencji. Tabela kontyngencji liczności obserwowanych (Oij ) dla tego współczynnika ma wymiar C × C.
Współczynnik wyraża się wtedy wzorem:
gdzie:
Oii, Eii to liczności obserwowane i oczekiwane głównej przekątnej tabeli kontyngencji.
Test Z do sprawdzania istotności współczynnika Kappa Cohena
Test istotności Kappa Cohena (Fleiss (1981)) służy do weryfikacji
hipotezy o zgodności wyników dwukrotnych pomiarów X(1) i X(2) cechy X i opiera się na współczynniku wyliczonym dla próby.
Podstawowe warunki stosowania:
pomiar na skali nominalnej (porządkowej lub interwałowej).
Hipotezy:
:
Κ = O,
:
Κ ≠ O.
gdzie Κ jest współczynnikiem Kappa Cohena dla populacji.
Wyznaczoną na podstawie statystyki testowej wartość p porównujemy z poziomem istotności α:
Badamy zgodność diagnozy postawionej przez 2 lekarzy.Wtym celu pobieramy próbę 110 pacjentów szpitala dziecięcego. Lekarze przyjmują pacjentów w sąsiednich gabinetach. Każdy z pacjentów jest najpierw badany przez lekarza A a następnie przez lekarza B. Diagnozy postawione przez lekarzy przedstawia poniższa tabela.
Hipotezy:
:
Κ = O,
:
Κ ≠ O.
Moglibyśmy badać zgodność diagnozy poprzez zwykły procent wartości zgodnych. W naszym przykładzie zgodną diagnozę lekarze postawili dla 73 pacjentów (31+39+3=73) co stanowi 66.36% badanej grupy. Współczynnik Kappa wprowadza korekcję tej wartości o szanse na zgodność (tzn. w korekcji o tę zgodność, która pojawia się dla przypadkowego rozłożenia danych w tabeli).
Zgodność wyrażona współczynnikiem = 44, 58% jest mniejsza niż ta nie skorygowana o szanse na zgodność. Wartość p < 0.000001. Wynik taki, na poziomie istotności α = 0.05, świadczy o zgodności opinii tych 2 lekarzy.