[TIL]윤현태 201020

Radom forest: ensemble 방법이다.

bootstrapped dataset: 원본 데이터에서 렌덤으로 데이터를 뽑음. 이때 중복을 허용함.
duplicate들을 허용하지만 feature수를 제한하기 때문에 과적합은 일어나지 않는다.

1. bootstrapped dataset을 사용한다.
2. 2개의 feature들을 무작위로 선정해서 그 feature들만 고려해서 나눈다.
3. 다시 1로 돌아가서 시작한다.

1. 새로운 환자를 본다.
2. 각 tree 에 대입해보고, 분류를 결정해본다. T 인지, F인지.
3. 더 많이 결정된 값을 선택한다.

이것이 Bagging이다.

보통 1/3 데이터가 안들어간다. 안들어가는 데이터를 우리는 Out of bag dataset이라고 부른다.
그러나 그것 또한 tree에 넣으면 제대로 작동한다. 정확도를 측정하기 위해서 사용한다.

제대로 labeling 된것들
제대로 안된 labeling된 것들: out of bag error

1) random forest 만들기
2) random forest 사용하기
3) random forest 정확도 측정하기
3)->1) 로 feature수를 다시 결정해서 다시 1)로 돌아간다.