[ML] MCD ( Minimum Covariance Determinent ) - 1. 마할라노비스 거리 (Mahalanobis distances)

 

 

머신러닝중에 이상치 탐지 머신러닝을 찾다보니 MCD( Minimum Covariance Determinent ) 모델을 알게되었다.

MCD모델을 공부하여 정리하는 글을 작성해보고자 한다.

 

MCD는 최소 공분산 행렬을 만드는 데이터셋을 구축하고, 해당 데이터 셋의 피쳐들을 고려하여 데이터셋을 정규화시켜

유클리드 거리를 구하게 된다. 

즉, 피쳐간 관계(맥락)을 고려 + 유클리드 거리 = 마할노비스 거리 가 되는 것이다.

 

마할라노비스 거리를 기준으로 이상치라 판단하기 때문에 마할라노비스 거리에 대해 정리해보고자 한다.

https://angeloyeo.github.io/2022/09/28/Mahalanobis_distance.html

마할라노비스 거리 - 공돌이의 수학정리노트

해당 포스팅에 도움을 많이 받았으니 꼭 읽어보길 바란다.

 

 

1. 유클리드 거리 vs 마할라노비스 거리

유클리드 거리와 마할라노비스 거리는 어떻게 다른 것일까?

한마디로 설명하자면, 맥락을 고려하지 않았으면 유클리드, 맥락을 고려했다면 마할라노비스 거리이다.

다음 그림을 보자.

출처 : https://angeloyeo.github.io/2022/09/28/Mahalanobis_distance.html

 

위 사진을 보면, 왼쪽 사진에서  노란색, 빨간색 점이 있다. 이 두 지점을 각각 유클리드 거리(직선거리)를 본다면

노란색 = 빨간색 이 될것이다. (유클리드 거리 공식을 모른다면 [참고 1] 공식을 볼 것)

즉, 노란색과 빨간색은 거리상 같다고 볼 수 있다.

 

하지만, 정말 같다고 봐야 할까?

위 왼쪽 사진을 보면, 데이터 분포가 y = x 형태로 분포되어있는 걸 볼 수 있다. 그렇다면, 빨간색은 데이터 분포와 유사하지만, 노란색 점들은 데이터 분포와 동떨어진 모습을 볼 수 있다.

그렇다면.. 과연 해당 데이터 분포에서 빨간색점과 노란색점간의 거리가 같다고 봐야하는게 맞을까? 라는 생각으로 나온 것이 마할라노비스 거리이다.

 

위 오른쪽 사진을 보면 feature '관계'를 고려하여 정규화 시킨 모습이다. 오른쪽 사진의 모습을 보면 한눈에 빨간색 거리가 노란색 거리보다 훨씬 짧게 형성 되어 있는 걸 볼 수 있다. 이것이 바로 마할라노비스 거리!

 

한마디로 마할라노비스 거리란, feature들간 '관계'를 고려하여 유클리드 거리를 구하겠다는 소리다.

이렇게 된다면, 단순히 유클리드 거리를 구하는 것보다, 피쳐간 관계(맥락)을 파악하여 데이터를 조정했기때문에 해당 데이터가 데이터 셋과 얼마나 동떨어져 있는지 알 수 있는 것이다.

이 방법을 이용하여 마할라노비스 거리가 먼 값은 이상치라고 판단하는 것이다.

  

* [참고 1]은 유클리드 거리 공식이다.

* [참고 2]는 마할라노비스 거리 공식이다.

 

[참고 1] 유클리드 거리

[참고 2] 마할라노비스 거리

 

마할라노비스 거리를 보면, 중간에 Σ의 역행렬이 들어가 있는 모습을 볼 수 있다.

Σ는 데이터 셋의 공분산 행렬을 뜻한다.

[참고 2]의 수식을 유도하는 방식은 맨 위 포스팅에 잘 나와있으니.. 참고하시길..( 필자는 잘 모르겠다.. )

 

이처럼 마할라노비스 거리를 이용하여 이상치 탐지에 사용하겠다는 아이디어가 존재한다.

하지만, 마할라노비스 거리에도 한계점이 존재한다. 

위 사진에서 파란색 점선이 일반적으로 마할라 노비스 거리를 구했을때 이상치라 보지 않는 범위이다.

즉, 이상치에 엄청나게 민감하게 작동하는 모습을 볼 수 있다.

 

이런 점을 해결하기 위해 나온 모델이 바로 MCD다! 

위 사진 핑크색 바운더리가 MCD모델을 사용했을때 정상 범위로 보는 마할라노비스 거리가 된다.

그럼 어떻게 위와같이 이상치에 강건한(Robust)한 역할을 할 수 있도록 만들었을까?

 

MCD의 내용은 다음 포스팅을 참고하시길...