Machine Learning
[Machine Learning] XGBoost
joo_
2022. 5. 17. 19:26
Boosting에 대해 다시 정리하자면,
여러 개의 의사결정나무(Decision Tree)를 조합해서 사용하는 앙상블(Ensemble) 기법 중 하나로,
약한 예측 모형들의 학습 에러에 가중치를 두고 순차적으로 다음 학습 모델에 반영하여 강한 예측모형을 만든다.
XGBoost는 Boosting 기법 중 하나로,
Extreme Gradient Boosting의 약자이고
Regression, Classification 문제를 모두 지원한다.
병렬 처리로 학습, 분류하여 속도가 빠르고,
과적합 규제가 가능하며,
Early Sopping 기능이 있다.
# python 사용 시 윈도우에 xgboost 설치 필요 (참고: https://lsjsj92.tistory.com/546)
import xgboost as xgb
from xgboost import XGBClassifier
xgb = XGBClassifier()
xgb.fit(X_train,Y_train)
Y_pred = xgb.predict(X_test)
xgb.score(X_train,Y_train)!pip install xgboost
from xgboost import XGBClassifier
xgbc = XGBClassifier()
xgbc.fit(x_train,y_train)
y_red = xgbc.predict(x_valid)