KL Divergence 정리

https://www.youtube.com/watch?v=Dc0PQlNQhGY&t=1681s

 

해당 영상을 참고하였습니다.

 

H의 정의

한가지 사건 일때

(가정) A→B에게 정보를 보내려고 한다 : 통신

ex)

해가 ‘동쪽’에서 떴다! 라는 소리는 당연한 소리 = 확률이 높은 상황 = 정보량이 없음( 당연함 )

해가 ‘서쪽’에서 떴다! 라는 정보 공유 = 확률이 낮은 상황 = 정보량이 엄청나게 큼 ( 희귀한 상황 ) (놀람의 정도 = 정보량)

h의 첫번째 조건

 

두가지 사건 일때

ex) 해가 동쪽에서 떴고, 서울에 비가 왔다.

정보1 → 해가 ‘동쪽’에서 떴다.

정보2 → 서울에 ‘비’가 왔다.

h의 두번째 조건