Sims의 문제해결 저장소

https://www.youtube.com/watch?v=VHky3d_qZ_E&t=212s [해당 영상으로 공부하였습니다.] XGBoost > GBM의 성능, 스케일, 속도를 최적화하기 위해서 극한으로 빠르게. > 단, 약간의 성능 저하가 발생할 수 있음.(근사기법때문에 ,approximation) 데이터를 더 많이 사용할 수 있고, 병렬처리 가능하기때문에 근사기법의 단점을 극복할 수 있다. XGBoost는 GBM이지만, 보다 빠르게 해를 찾아감, 스케일링?(무슨뜻?) 1. Split finding algorithm 기본 tree - best split를 찾기위해 모든 구역 전수조사 ( 항상 최적의 구간을 찾을 수 있음. Greedy) - 메모리에 데이터 자체가 다 들어가지 않을 정도로 많은 데이터라면 ..

이번 포스팅에는 직접 GBM(Gradient Boosting Machine)을 살펴보려고 한다. boosting의 개념을 모른다면, 이전 글 ada boost를 보고 오길 바란다. boosting의 의미를 알아야 GBM을 알아가는데 직관적으로 와닿을 것이다. https://sims-solve.tistory.com/95 [ML] AdaBoosting 정리 이번 포스팅에서는 Bagging방식의 앙상블과 양대산맥을 이루는 Boosting 앙상블 방식을 사용하는 Ada(아다)Boosting을 한번 살펴보려고 한다. 들어가기 전에.. DT(Decision Tree)에 대해 자세히 알고있으면 sims-solve.tistory.com 1. GBM이란? GBM은 Ada boost와 같이 boosting 기법을 사용한 ..

이번 포스팅에서는 Bagging방식의 앙상블과 양대산맥을 이루는 Boosting 앙상블 방식을 사용하는 Ada(아다)Boosting을 한번 살펴보려고 한다. 들어가기 전에.. DT(Decision Tree)에 대해 자세히 알고있으면 좋으므로, 공부를 하고 보는 것을 추천한다. https://sims-solve.tistory.com/88 [ML] 의사결정트리(Decision Tree) 정리 의사결정트리는 Forest 계열에 가장 base로 사용되는 모델이다. RandomForest , Extra Tree, 일부 Boosting계열 모델에서 n개의 decision tree가 사용되므로 의사결정 트리를 상세하고 정확하게 공부하고 넘어가 sims-solve.tistory.com 1) Boosting이란? Boo..