Porównanie krzywych ROC

Bardzo często celem badań jest porównanie wielkości pola pod krzywą ROC (AUC₁) z polem pod inną krzywą ROC (AUC₂). Krzywa ROC o większym polu, pozwala zwykle na dokładniejszą klasyfikację obiektów.
Metody służące porównaniu pól zależne są od modelu badania.

• Model zależny – porównywane krzywe ROC powstają na bazie pomiarów dokonanych na tych samych obiektach.
  Hipotezy:
  
  • : AUC ₁ = AUC ₂,
  • : AUC ₁ ≠ AUC ₂.
  Statystyka wyliczana jest w oparciu o metodę nieparametryczną zaproponowaną przez DeLong (DeLong E.R. i inni 1988, Hanley J.A. i Hajian-Tilaki K.O. 1997.)
  
  Wyznaczoną na podstawie statystyki testowej wartość p porównujemy z poziomem istotności α:
  • jeżeli p ≤α ⇒ odrzucamy H₀ przyjmując H₁,
  • jeżeli p >α ⇒ nie ma podstaw odrzucić H₀.
  
  

  Polecenie:

  Statystyka Testy diagnostyczne Zależne Krzywe ROC – porównanie

  

• Model niezależny - porównywane krzywe ROC powstają na bazie pomiarów dokonanych na różnych obiektach.
  Hipotezy:
  
  • : AUC ₁ = AUC ₂,
  • : AUC ₁ ≠ AUC ₂.
  Statystyka wyliczana jest w oparciu o metodę nieparametryczną zaproponowaną przez DeLong (DeLong E.R. i inni 1988, Hanley J.A. i Hajian-Tilaki K.O. 1997.) lub Hanley-McNeil(Hanley J.A. i McNeil M.D. 1982.
  
  Wyznaczoną na podstawie statystyki testowej wartość p porównujemy z poziomem istotności α:
  • jeżeli p ≤α ⇒ odrzucamy H₀ przyjmując H₁,
  • jeżeli p >α ⇒ nie ma podstaw odrzucić H₀.
  
  

  Polecenie:

  Statystyka Testy diagnostyczne Niezależne Krzywe ROC – porównanie

  

1. Zbudujemy 2 krzywe ROC, by porównać wartość diagnostyczną parametrów WBC i PCT -> Zobacz film
2. Zbudujemy 2 krzywe ROC, by porównać wartość diagnostyczną parametru PCT dla chłopców i dziewczynek -> Zobacz film

1. Zarówno parametr WBC jak i PCT jest stymulantą (wysokie wartości tych parametrów towarzyszą bakteriemii). Porównując wartość diagnostyczną tych parametrów weryfikujemy hipotezy:

   • : pole pod krzywą ROC dla WBC = pole pod krzywą ROC dla PCT,,
   • : pole pod krzywą ROC dla WBC ≠ pole pod krzywą ROC dla PCT.

   

   

   Wyliczone wielkości pól to AUC_WBC = 0.8613, AUC_PCT = 0.8956. Na podstawie przyjętego poziomu α=0.05, w oparciu o uzyskaną wartość p=0.1303 wnioskujemy, że nie możemy wskazać, który z parametrów WBC czy PCT jest lepszy w rozpoznawaniu bakteriemii.

2. Parametr PCT jest stymulantą (jego wysokie wartości towarzyszą bakteriemii). Porównując jego wartość diagnostyczną dla dziewczynek i chłopców weryfikujemy hipotezy:

   • : pole pod krzywą ROC dla PCT_kobiety = pole pod krzywą ROC dla PCT_mężczyźni,,
   • : pole pod krzywą ROC dla PCT_kobiety ≠ pole pod krzywą ROC dla PCT_mężczyźni.

   

   

   Wyliczone wielkości pól to AUC_kobiety = 0.8649, AUC_mężczyźni = 0.9118. Zatem na podstawie przyjętego poziomu α=0.05, w oparciu o uzyskaną wartość p=0.6372 wnioskujemy, że nie możemy wybrać płci, dla której parametr PCT jest lepszy w rozpoznawaniu bakteriemii.