Sims의 문제해결 저장소

이번에는 최소 신장 트리에 대해 공부하고 정리해보고자 한다. MST란?노드와 간선이 주어지고, 간선간 가중치가 존재했을때, 모든 노드가 간선으로 연결되어 하나의 그래프를 만드는데, 그중 가중치을 가장 낮게 하는 그래프 구조를 말한다.글로만 보면 무슨 의미인지 잘 이해할 수 없다. 아래 사진을 보자. 위처럼 노드,간선, 가중치가 제공되었을때 모든 노드를 연결하는 그래프를 그리는 방법은 아주 다양하게 그릴 수 있다.위처럼 간선을 연결하여 하나의 그래프를 그릴 수 있다.하지만, 가중치의 합은 간선의 가중치 값에 따라 서로 다르게 되고, 그래프당 가중치 합은 서로 다르게 된다. 이중 가중치 합을 가장 낮게 구성하여 모든 노드를 하나의 그래프에 연결하는것이 바로 MST - 최소신장트리 가 되는것이다. 여기서 몇가..

ML에서 자주 사용되는 DT, RF, ET를 표로 한번 정리해보고자 한다. Boot Strap 사용 Feature 갯수 Split 방법 Aggregate Decision Tree X ALL Best X Random Forest O 분류: sqrt(ALL) 회귀 : ALL Best O Extra Tree X 분류: sqrt(ALL) 회귀: ALL Random O 이처럼 표로 간단하게 정리 할 수 있을 것 같다. Boot Strap 사용 여부, Split에 사용되는 feature 갯수, Split 방법, Aggregate(앙상블)여부로 나눠봤다. (사실, Extra Tree의 BootStrap은 sklearn에서 default로 False가 되어있어서 'X'로 표현했다. Extra Tree에서도 Boot S..

지금까지 Decision Tree의 분류/회귀가 어떻게 동작하는지 알아보는 시간을 가졌다. 혹시 잘 모른다면 밑에 링크를 통해 보고 오는 것을 추천한다. https://sims-solve.tistory.com/89 [ML] 의사결정트리(Decision Tree) - Classicifation 손으로 구하기 이번 포스팅에는 직접 Decision Tree가 어떤 방식으로 분기하는지 그림으로만 보는 것이 아닌, 손으로 계산하여 정말 똑같은지 확인해보고자 한다. 만약, Decision Tree에 대해 잘 모르겠다면.. 정보를 sims-solve.tistory.com https://sims-solve.tistory.com/90 [ML] 의사결정트리(Decision Tree) - Regression 손으로 구하기 ..

늘 항상 고민인게 있다. 바로 피쳐를 어떻게 선택/삭제할 것인가이다. 어떤 대회는 아주 적은 피쳐로 점수가 높아지는 대회가 있는 반면, 피쳐가 다양해야 높은 점수를 얻을 수 있는 대회도 존재한다. 즉, 피쳐가 많고 적고의 답은 없는것 같다. 그중 피쳐를 삭제하고자 할때 개인적으로 X와 Y의 상관관계를 보고 시작한다. 그러다 보면.. 반드시 다중 공선성이 존재하는 피쳐가 존재하는 것을 볼 수 있을것이다. 그럼 다중공선성이 존재하는 피쳐는 어떻게 해야할까? 놔둬야하나? 지워야 하나? 늘 고민이다.. 고민을 하던 와중 이 글을 보고 하나 배웠다. https://blog.pabii.co.kr/multicollinearity-famous-but-stupid/ 다중공선성과 Random Forest에 대한 "업계 유..