[Machine Learning] 에이다부스트 (AdaBoost)

- Boosting 알고리즘의 한 종류로서, Adaptive Boosting의 약자

- 가중치를 부여한 약 분류기(weak classifier)를 모아서 최종적인 강 분류기(strong classifier)를 생성하는 기법

- 다음 학습 과정에서 각각의 샘플들에 대해 가중치를 두고 모델링을 하여 다음 학습시 이전에 처리하지 못한 샘플들을 adaptive하게 더 잘 풀도록 개선하는 특성이 있음

 

- AdaBoost는 두개의 리프(leaf)를 지닌 트리인 stump가 여러 개로 구성되어 있고, 특정 stump가 다른 stump보다 더 중요하여 가중치가 더 높음

- 첫번째 stump에서 발생한 error는 두번째 stump의 결과에 영향을 주고 두번째 stump에서 발생한 error 역시 세번째 stump의 결과에 영향을 줌

 

from sklearn.ensemble import AdaBoostClassifier
clf = AdaBoostClassifier(n_estimators = 100, random_state=0)
clf.fit(train_x, train_y)

clf.predit(test_x)

[출처 1] https://steemit.com/kr-dev/@steemonen1/adaboost

[출처 2] https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-14-AdaBoost