Sims의 문제해결 저장소

머신러닝중에 이상치 탐지 머신러닝을 찾다보니 MCD( Minimum Covariance Determinent ) 모델을 알게되었다. MCD모델을 공부하여 정리하는 글을 작성해보고자 한다. MCD는 최소 공분산 행렬을 만드는 데이터셋을 구축하고, 해당 데이터 셋의 피쳐들을 고려하여 데이터셋을 정규화시켜 유클리드 거리를 구하게 된다. 즉, 피쳐간 관계(맥락)을 고려 + 유클리드 거리 = 마할노비스 거리 가 되는 것이다. 마할라노비스 거리를 기준으로 이상치라 판단하기 때문에 마할라노비스 거리에 대해 정리해보고자 한다. https://angeloyeo.github.io/2022/09/28/Mahalanobis_distance.html 마할라노비스 거리 - 공돌이의 수학정리노트 angeloyeo.github.io..

이번 포스팅에서는 GBM Regressor 안에 Decision Tree(DT)가 어떤 식으로 split하는지 알아보고자 한다. 이미 DT포스팅에서 어떻게 Split 하는지 포스팅을 했다. 그런데 왜 같은 내용을 또 하냐면... DT에서는 split 기준(criterion)공식을 squared_error로 사용한다. 하지만, GBM속 안 DT는 Friedman mse를 사용한다고 한다. 이 차이점 때문에 다시 한번 손으로 직접 구하는 포스팅을 하는 것이다. * 참고로, 기준(criteriion)의 의미는 IG(Information Gain)을 구할때 어떤 방식으로 구할지에 대한 기준이라 보면 된다. 혹시, 기존 DT에서 IG(Information Gain)을 구하는 방식을 모른다면, 한번쯤 보고 오는 것..

이번 포스팅은 GBM Regressor가 어떤 방식으로 동작하고, split 하는지 간단하게 손으로 구하는 포스팅이다. GBM의 기본적인 이론을 숙지한 후 보는 것을 추천드린다. https://sims-solve.tistory.com/96 [ML] GBM(Gradient Boosting Machine) - 정리 이번 포스팅에는 직접 GBM(Gradient Boosting Machine)을 살펴보려고 한다. boosting의 개념을 모른다면, 이전 글 ada boost를 보고 오길 바란다. boosting의 의미를 알아야 GBM을 알아가는데 직관적으로 와닿을 sims-solve.tistory.com 일단, GBM의 학습 과정을 간단하게 기술해 보았다. 밑 [그림 1]을 보고 천천히 이해해 보기 바란다. 딱..

이번 포스팅에는 직접 GBM(Gradient Boosting Machine)을 살펴보려고 한다. boosting의 개념을 모른다면, 이전 글 ada boost를 보고 오길 바란다. boosting의 의미를 알아야 GBM을 알아가는데 직관적으로 와닿을 것이다. https://sims-solve.tistory.com/95 [ML] AdaBoosting 정리 이번 포스팅에서는 Bagging방식의 앙상블과 양대산맥을 이루는 Boosting 앙상블 방식을 사용하는 Ada(아다)Boosting을 한번 살펴보려고 한다. 들어가기 전에.. DT(Decision Tree)에 대해 자세히 알고있으면 sims-solve.tistory.com 1. GBM이란? GBM은 Ada boost와 같이 boosting 기법을 사용한 ..

이번 포스팅에서는 Bagging방식의 앙상블과 양대산맥을 이루는 Boosting 앙상블 방식을 사용하는 Ada(아다)Boosting을 한번 살펴보려고 한다. 들어가기 전에.. DT(Decision Tree)에 대해 자세히 알고있으면 좋으므로, 공부를 하고 보는 것을 추천한다. https://sims-solve.tistory.com/88 [ML] 의사결정트리(Decision Tree) 정리 의사결정트리는 Forest 계열에 가장 base로 사용되는 모델이다. RandomForest , Extra Tree, 일부 Boosting계열 모델에서 n개의 decision tree가 사용되므로 의사결정 트리를 상세하고 정확하게 공부하고 넘어가 sims-solve.tistory.com 1) Boosting이란? Boo..

ML에서 자주 사용되는 DT, RF, ET를 표로 한번 정리해보고자 한다. Boot Strap 사용 Feature 갯수 Split 방법 Aggregate Decision Tree X ALL Best X Random Forest O 분류: sqrt(ALL) 회귀 : ALL Best O Extra Tree X 분류: sqrt(ALL) 회귀: ALL Random O 이처럼 표로 간단하게 정리 할 수 있을 것 같다. Boot Strap 사용 여부, Split에 사용되는 feature 갯수, Split 방법, Aggregate(앙상블)여부로 나눠봤다. (사실, Extra Tree의 BootStrap은 sklearn에서 default로 False가 되어있어서 'X'로 표현했다. Extra Tree에서도 Boot S..

지금까지 Decision Tree, Random Forest를 살펴보았다. Extra Tree는 Random Forest와 살짝 다른 무작위성을 가지는 Tree이다. 혹시 Random Forest를 모른다면 밑에 링크를 보거나, 학습을 하고 오는 것을 추천한다. https://sims-solve.tistory.com/92 [ML] Random Forest - 정리 Decision Tree에 대한 사전지식이 필수적으로 필요합니다. Decision Tree에 대한 설명은 밑 링크를 참고하세요. https://sims-solve.tistory.com/88 [ML] 의사결정트리(Decision Tree) 정리 의사결정트리는 Forest 계열에 sims-solve.tistory.com 1. Extra Tree (..

Decision Tree에 대한 사전지식이 필수적으로 필요합니다. Decision Tree에 대한 설명은 밑 링크를 참고하세요. https://sims-solve.tistory.com/88 [ML] 의사결정트리(Decision Tree) 정리 의사결정트리는 Forest 계열에 가장 base로 사용되는 모델이다. RandomForest , Extra Tree, 일부 Boosting계열 모델에서 n개의 decision tree가 사용되므로 의사결정 트리를 상세하고 정확하게 공부하고 넘어가 sims-solve.tistory.com 1. Random Forest란? 간단하게 말해서 Random Forest는 이전에 살펴보았던, Decision Tree를 많이 만들어 하나의 결과를 예측하는 방식이다. 즉, 집단지..