Krzywa ROC

Polecenie:

Statystyka Testy diagnostyczne Krzywa ROC

Testem diagnostycznym posługujemy się, by odróżnić obiekty z daną cechą (oznaczone jako (+), np. osoby chore) od obiektów bez danej cechy (oznaczone jako (–), np. osoby zdrowe). Aby test diagnostyczny mógł być uznany za wartościowy, powinien dawać stosunkowo niewielką liczbę błędnych klasyfikacji. Jeśli test opiera się na zmiennej dychotomicznej, wówczas właściwym narzędziem do oceny jego jakości jest analiza tabeli kontyngencji 2 × 2 wartości prawdziwie dodatnich (TP), prawdziwie ujemnych (TN), fałszywie dodatnich (FP) i fałszywie ujemnych (FN). Najczęściej jednak testy diagnostyczne opierają się na zmiennych ciągłych lub o uporządkowanych kategoriach. W takiej sytuacji właściwym środkiem oceny zdolności testu do rozróżnienia (+) i (–) są krzywe ROC (ang. Receiver Operating Characteristic).

Często obserwuje się, że wraz ze wzrostem wartości zmiennej diagnostycznej rosną szanse na wystąpienie badanego zjawiska lub odwrotnie: wraz ze wzrostem wartości zmiennej diagnostycznej maleją szanse na wystąpienie badanego zjawiska. Wówczas przy użyciu krzywych ROC dokonuje się wyboru optymalnego punktu odcięcia, czyli pewnej wartości zmiennej diagnostycznej, która najlepiej dzieli badaną zbiorowość na dwie grupy: (+) w której występuje dane zjawisko i (–) w której dane zjawisko nie występuje.

Kiedy w oparciu o badania przeprowadzone na tych samych obiektach, są zbudowane dwie lub więcej krzywych ROC, można dokonać porównania tych krzywych pod kątem jakości klasyfikacji.

• stymulanta (wraz ze wzrostem jej wartości rosną szanse na wystąpienie badanego zjawiska), to wartości większe lub równe punktowi odcięcia zaliczamy do grupy (+);
• destymulanta (wraz ze wzrostem jej wartości maleją szanse na wystąpienie badanego zjawiska), to wartości mniejsze lub równe punktowi odcięcia zaliczamy do grupy (+).

Dla każdego z k punktów odcięcia wyznaczamy wartości prawdziwie dodatnie (TP), prawdziwie ujemne (TN), fałszywie dodatnie (FP) i fałszywie ujemne (FN). Na podstawie tych wartości każdy punkt odcięcia może być dalej opisany za pomocą czułości i swoistości oraz wartości predykcyjnych dodatnich (PPV), wartości predykcyjnych ujemnych (NPV), ilorazu wiarygodności wyniku dodatniego (LR+), ilorazu wiarygodności wyniku ujemnego (LR-) i dokładności (Acc).

Krzywa ROC powstaje na podstawie wyznaczonych wartości czułości i swoistości. Na osi odciętych umieszczona jest x=1-swoistość, a na osi rzędnych y = czułość. Uzyskane punkty są ze sobą połączone. Powstała w ten sposób krzywa, a w szczególności pole pod nią, obrazuje jakość klasyfikacyjną analizowanej zmiennej diagnostycznej. Gdy krzywa ROC pokrywa się z przekątną y = x, to decyzja podejmowana na podstawie zmiennej diagnostycznej jest tak samo dobra jak losowy podział badanych obiektów na grupy (+) i (–).

AUC (ang. area under curve) – wielkość pola pod krzywą ROC mieści się w przedziale < 0; 1 >. Im większe jest pole, tym dokładniej zaklasyfikujemy obiekty do grupy (+) i (–) na podstawie analizowanej zmiennej diagnostycznej. Zatem z tym lepszym skutkiem ta zmienna diagnostyczna może być wykorzystywana jako klasyfikator. Pole AUC, błąd SE_AUC i przedział ufności dla AUC wyliczane są w oparciu:

• o metodę nieparametryczną DeLong (DeLong E.R. i inni 1988, Hanley J.A. i Hajian-Tilaki K.O. 1997) - rekomendowane,
• o metodę nieparametryczną Hanley-McNeil (Hanley J.A. i McNeil M.D. 1982),
• o metodę Hanley-McNeil zakładającą dwu-ujemny rozkład wykładniczy (Hanley J.A. i McNeil M.D. 1982) - wyliczną tylko wtedy, gdy grupy (+) i (–) są równoliczne.

By klasyfikacja była lepsza niż losowy podział obiektów do dwóch klas, pole pod krzywą ROC powinno być istotnie większe niż pole pod prostą y = x czyli niż 0.5.
Hipotezy:

• : AUC = 0.5,
• : AUC ≠ 0.5.

• jeżeli p ≤α ⇒ odrzucamy H₀ przyjmując H₁,
• jeżeli p >α ⇒ nie ma podstaw odrzucić H₀.

Wybór optymalnego punktu odcięcia

Ten poszukiwany punkt, to pewna wartość zmiennej diagnostycznej, która optymalnie dzieli badaną zbiorowość na dwie grupy: (+) w której występuje dane zjawisko i (–) w której dane zjawisko nie występuje. Wybór optymalnego punktu odcięcia nie jest łatwy, gdyż wymaga fachowej wiedzy z zakresu tematu badań. Na przykład innego punktu odcięcia będzie wymagał test użyty w badaniach przesiewowych obejmujących dużą grupę osób np. w badaniu mammograficznym, a innego w badaniach inwazyjnych przeprowadzanych by potwierdzić wcześniejsze podejrzenie np. w histopatologii. Stosując zaawansowany aparat matematyczny możemy znaleźć taki punkt tzw. cut-off, który będzie najkorzystniejszy z matematycznego punktu widzenia.

Program PQStat wybór optymalnego punktu odcięcia umożliwia poprzez analizę wykresu przecięcia czułości i swoistości. Poza tym optymalny punkt odcięcia może być wyliczony na podstawie podanych przez użytkownika kosztów błędnych decyzji i wartości współczynnika chorobowości a priori.

• Optymalny punkt odcięcia na krzywej ROC – wyliczany w oparciu o czułość, swoistość, koszty błędnych decyzji i współczynnik chorobowości.
  

  Błędy jakie można popełnić przydzielając badane obiekty do grupy (+) i do grupy (–) to wyniki fałszywie dodatnie (FP) i wyniki fałszywie ujemne (FN). Jeśli popełnienie tych błędów jest tak samo kosztowne (koszty etyczne, finansowe, ...), to wówczas w polu koszt FP i w polu koszt FN wpisujemy tą samą dodatnią wartość – zwykle 1. Jeśli natomiast uznamy, że jeden rodzaj błędu jest obarczony większym kosztem niż drugi, wówczas przypiszemy mu odpowiednio większą wagę.
  Optymalna wartość odcięcia obliczana jest na podstawie czułości, swoistości i przy użyciu wielkości m – nachylenia stycznej do krzywej ROC. Kąt nachylenia m jest określany w odniesieniu do dwóch wartości: kosztów błędnych decyzji i współczynnika chorobowości. Standardowo koszty błędnych decyzji są równe 1, a współczynnik chorobowości estymowany jest z próby. Znając a priori współczynnik chorobowości i koszty błędnych decyzji użytkownik może wpływać na wartość m a tym samym na wyszukiwanie optymalnego punktu odcięcia. W rezultacie za optymalny punkt odcięcia uznana zostaje taka wartość zmiennej diagnostycznej, przy której wyrażenie:
  

  Czułość - m · (1 - Swoistość)
  

  osiąga minimum (Zweig M.H. 1993). Wybrany w ten sposób optymalny punkt odcięcia zmiennej diagnostycznej zostanie ostatecznie zaznaczony na wykresie krzywej ROC.

• Wykres kosztów – prezentuje wyliczone wartości błędnej diagnozy wraz z ich kosztami. Wartości te wyliczane są zgodnie z wzorem:

  koszt = koszt_FP · FP + koszt_FN · FN
  

  Zaznaczony na wykresie punkt, to minimum powyższej funkcji.

• Wykres przecięcia czułości i swoistości – pozwala na zlokalizowanie punktu, w którym wartość czułości i swoistości jest jednocześnie największa.

Utrzymująca się wysoka gorączka u niemowlęcia lub małego dziecka bez ustalonych wyraźnych przyczyn jest wskazówką do przeprowadzenia badań w kierunku bakteriemii. Za najbardziej przydatne i wiarygodne parametry służące do przesiewowej diagnostyki i monitorowania zakażeń bakteryjnych uważa się wskaźniki:

• WBC - liczba białych krwinek,
• PCT - prokalcytonina.

Przyjmuje się, że u zdrowego niemowlęcia i małego dziecka WBC nie powinno przekraczać 15 tys/l, a PCT powinno być niższe niż 0.5 ng/ml.
Przykładowe wartości tych wskaźników dla 136 dzieci do 3 roku życia z utrzymującą się gorączką > 39⁰C przedstawia poniższy fragment tabeli:

Jednym z możliwych sposobów analizy wskaźnika PCT jest przekształcenie go w zmienną dychotomiczną przez wybranie punktu odcięcia (np. równego 0.5 ng/ml), powyżej którego badanie jest uznane za ”pozytywne”. Jak dobry jest taki podział wskaże wartość czułości i swoistości. Chcemy wykorzystać bardziej kompleksowe podejście, czyli wyliczyć czułość i swoistość nie tylko dla jednej wartości, ale dla każdej uzyskanej w próbie wartości PCT - czyli zbudować krzyw?? ROC. Na podstawie uzyskanych w ten sposób informacji chcemy sprawdzić, czy wskaźnik PCT jest rzeczywiście przydatny w rozpoznawaniu bakteriemii. Jeśli tak, jaki jest optymalny punkt odcięcia powyżej którego możemy uznać badanie za ”pozytywne” – wykrywające bakteriemię.

By sprawdzić, czy PCT jest rzeczywiście przydatny w rozpoznawaniu bakteriemii wyliczymy wielkość pola pod krzywą ROC i zweryfikujemy hipotezę, że:

• : pole pod zbudowaną krzywą ROC = 0.5,
• : pole pod zbudowaną krzywą ROC ≠ 0.5.

Ponieważ bakteriemi towarzyszy podwyższony poziom PCT, to w oknie opcji testu wskaźnik ten uznajemy za stymulantę. W zmiennej stanu musimy określić, która wartość znajdująca się w kolumnie bakteriemia określa jej obecność, tutaj wybieramy wartość ”tak”. W raporcie oprócz wyniku testu statystycznego możemy znaleźć dokładny opis każdego z możliwych punktów odcięcia.

Wyliczona wielkość pola pod krzywą ROC wynosi AUC = 0.889. Zatem na podstawie przyjętego poziomu α= 0.05, w oparciu o uzyskaną wartość p < 0.000001 wnioskujemy, że rozpoznawanie bakteriemii przy użyciu wskaźnika PCT jest istotnie korzystniejsze niż losowy podział pacjentów na 2 grupy: chorujących na bakteriemię i nie chorujących.

Wracamy więc do analizy (przycisk), by wyznaczyć optymalny punkt odcięcia. Algorytm poszukiwania optymalnego punktu odcięcia uwzględnia koszty błędnych decyzji i współczynnik chorobowości:

• koszt FN - błędna diagnoza, to koszt uznania, że pacjent nie choruje na bakteriemię mimo, że rzeczywiście jest on chory (koszty decyzji fałszywie ujemnej)
• koszt FP - błędna diagnoza, to koszt uznania, że pacjent choruje na bakteriemię mimo, że rzeczywiście na nią nie choruje (koszty decyzji fałszywie dodatniej)

Ponieważ koszty FN są znacznie poważniejsze niż koszty FP, to w polu pierwszym wpisujemy wartość większą niż w polu drugim. Uznaliśmy, że będzie to wartość 5.
Wartość PCT ma być wykorzystywana w badaniach przesiewowych, nie podajemy więc populacyjnego współczynnika chorobowości (współczynnika chorobowości a priori), który jest bardzo niski, ale pozostajemy przy współczynniku estymowanym z próby. Postępujemy tak, by nie przesunąć punktu odcięcia wartości PCT zbyt wysoko i nie zwiększyć ilości fałszywie ujemnych wyników.

Analiza wykresu kosztów wskazuje, że minimum kosztów błędnych decyzji przypada na PCT=1.819. Natomiast wartość czułości i swoistości jest podobna dla PCT=1.071.