Sims의 문제해결 저장소

이번 포스팅에서는 GBM Regressor 안에 Decision Tree(DT)가 어떤 식으로 split하는지 알아보고자 한다. 이미 DT포스팅에서 어떻게 Split 하는지 포스팅을 했다. 그런데 왜 같은 내용을 또 하냐면... DT에서는 split 기준(criterion)공식을 squared_error로 사용한다. 하지만, GBM속 안 DT는 Friedman mse를 사용한다고 한다. 이 차이점 때문에 다시 한번 손으로 직접 구하는 포스팅을 하는 것이다. * 참고로, 기준(criteriion)의 의미는 IG(Information Gain)을 구할때 어떤 방식으로 구할지에 대한 기준이라 보면 된다. 혹시, 기존 DT에서 IG(Information Gain)을 구하는 방식을 모른다면, 한번쯤 보고 오는 것..

이번 포스팅은 GBM Regressor가 어떤 방식으로 동작하고, split 하는지 간단하게 손으로 구하는 포스팅이다. GBM의 기본적인 이론을 숙지한 후 보는 것을 추천드린다. https://sims-solve.tistory.com/96 [ML] GBM(Gradient Boosting Machine) - 정리 이번 포스팅에는 직접 GBM(Gradient Boosting Machine)을 살펴보려고 한다. boosting의 개념을 모른다면, 이전 글 ada boost를 보고 오길 바란다. boosting의 의미를 알아야 GBM을 알아가는데 직관적으로 와닿을 sims-solve.tistory.com 일단, GBM의 학습 과정을 간단하게 기술해 보았다. 밑 [그림 1]을 보고 천천히 이해해 보기 바란다. 딱..