[방학 중 공부] Machine Learning. Information Theory #2 - maximum entropy distribution, conditional theory, KL divergence, M-projection and I-projection, mutual information, cross entropy, transfer entropy

 

균등분포는 Maximum Entropy Distributiton을 가진다.

 

[a,b]라는 제한된 범위에서 최대의 앤트로피를 가지는 분포를 찾는 과정을 진행해보자. 엔트로피의 경우 음의 로그값을 가지며 (Degree of Surprise) 연속적인 경우 위와 같이 표현된다. 이때 Constraint는 [a,b]에서 모든 확률을 더하면 1이 된다는 점이다. Lagrange 곱셈을 진행하면 확률 값이 균등분포에서 도출할 수 있는 값을 가진다. 

 

Marginal Entropy의 경우 앞서 계산한 것 과 동일한 앤트롤피의 계산식이며 시그마의 경우 이산적인 경우에 대한 표현이 된다. Joint Entropy의 경우 두 가지 이상의 확률이 결합되어 있는 경우라고 볼 수 있고 Conditional Entropy의 경우 흔히 알고 있는 조건부 확률의 사례가 된다. 앤트로피의 경우 이렇게 Marginal, Joint, Conditional Entropy 간의 상관 관계가 있는데 이를 다음 페이지에서 증명한다. 

 

 

흔히 알고 있는 Joint Probability를 Conditional Probability로 표현하는 과정을 진행하면서 증명된다. 노란색  박스를 보면 맨처음 Joint Entropy를 계산하는 식에서 출발하며 Joint Probability를 계산하는 수식을 풀어서 Marginal과 Conditional Probability로 치환하는 과정을 거친다. 마지막으로 정리를 하면 다음과 같은 관계식을 도출할 수 있다. 

Relative 앤트로피

 

Relative 앤트로피라고 불리며 이는 두 확률 분포 P와 Q의 발산 정도를  알 수  있다. 보통 두 확률분포의 차이를 계산할 때 사용이 되며 어떤 이상적인 분포를 구하고자 할 때 해당 분포에 근사하는 다른 분포를 이용하여 Sampling하는 경우 발생하는 차이를 계산할 때 사용이 되기도 한다. 직관적으로 본다면 P와 Q분포의 Cross Entropy를 계산하고 여기서 P분포의 Entropy를 빼준다면 두 확률 분포 간의 차이를 계산할 수 있다고 볼 수 있다. 

[출처 인용, 참고 : https://hyunw.kim/blog/2017/10/27/KL_divergence.html ]

 

파라미터를 사용하고 Empirical Approach를 통해 모델 Q를 찾는 수식을 살펴보면, Basian Theory처럼 Posterior의 확률을 구할 때 Conversion 하여 사용하는 것과 유사하다고 생각한다. 

 

 

 

 

KL Divergence

 

KL Divergence는 Asymmetric이여서 KL(p||q) 와 KL(q||p)의 값이 다르다. 그렇기 때문에 직관적으로  두 분포의 거리 차이인 것처럼 보이지만