ROC curve 간단 정리

ROC curve (Receiver Operating Characteristic curve)는 간단하게 말해서 False Positive Rate (FPR), True Positive Rate (TPR)를 각각 x, y축으로 둔 그래프이다.

 

ROC curve를 찾아보면 False positive rate는 1-specificity, True positive rate는 sensitivity로도 많이 표현한다.

Sensitivity는 사실인 것을 사실이라고 예측한 것이고, specificity는 사실이 아닌것을 사실이 아니라고 예측한 것이다.

그래서 False positive rate는 1-specificity로 많이 표현된다.

 

출처 : https://www.ibm.com/support/knowledgecenter/es/SSLVMB_24.0.0/spss/tutorials/mlp_bankloan_roc-curve_02.html

 

그리고 ROC curve에서 면적을 계산할 수 있는데, 이것을 AUC (the Area Under a ROC Curve)라고 한다. AUC가 1에 가까우면 좋은 성능을 가지고 있다는 것이다.

 

사실이라고 예측할 기준(True positive)을 쉽게 잡으면 sensitivity가 높아지지만, 사실이 아닐 경우에 사실이라고 예측할 확률(False positive)도 그만큼 높아진다(specificity가 낮아진다). sensitivity와 1-specificity를 동시에 높일 수 있는(그래프가 왼쪽위로 많이 갈 수 있는) 모델일수록 성능이 좋은 모델이라고 할 수 있다.

 

그림에 보이는 검정색 대각선이 AUC가 0.5인 상태인데, 이 경우에는 sensitivity와 specificity를 동시에 높이는 지점이 없다는 말이므로 성능이 좋지 않은 모델이라고 할 수 있다.