[TIL]윤형준_201105

오늘도 f1 score에 대해서 고민과 공부를 많이 하였다.

f1(pos) & f1(neg)

좋은 모델이란 잘 분류한다는 것이다.

잘 분류할수록 AUC가 높아진다. AUC가 높아지면 f1(pos) & f1(neg) 둘다 올라간다.

여러 모델을 가지고 비교하였을 때 AUC가 가장 높은 모델을 사용하면 된다. 여기서 threshold를 조정 할 수있다.

Threshold를 조정하면 f1(pos)가 올라갈수 있는데, f1(pos)가 올라가면 f1(neg)가 내려간다.

반대로 f1(pos)가 내려가면 f1(neg)는 올라간다.

그럼, 가장 좋은 모델을 선택한 다음에 threshold는 어디에 두어야 되는걸까?

Threshold를 변경 시키면 f1(pos) 랑 f1(neg) 중에 하나는 올라가고 하나는 내려간다.

예를 들어 우리가 하나만 올리고자 한다고 가정해보자. f1(pos)만 올린다고 가정해보자. f1(neg)는 내려갈것이다.

f1(pos)를 최대로 올린다는 것은 positive의 recall이나 precision둘중 하나를 최대치로 올린다는 것이다.

하지만 이렇게 한다면 의미없는 작업이다.