[방학 중 공부] Machine Learning. Information Theory #1 - laws of thermodynamics, entropy, asymptotic property of entropy

열역학 제 1의 법칙

: 닫힌계에서 모든 에너지의 총합은 변하지 않는다. 

Rudolf Kausius에 의해서 에너지 보존 법칙이 증명되었다.

 

열역학 제  2의 법칙

: 열역학의 체계 안에서 엔트로피는 항상 증가한다.

여기서 엔트로피란 하나의 체계 속에서 무작위성이나 무질서도를 표현하는 것으로 정의가 된다. 

Information theory란 무엇인가.

많은 내용의 정보를 가지고 있는 불확실한 것이다. 즉, 자주 일어나지 않는 사건의 정보량이 자주 일어나는 사건에 대한 정보량보다 많다는 것이다. Claude Shannon은 Information Theory의 아버지라고 불리며 Informatiton을 Quantity라고 정의하고 있다. 

 

Degree of f Surprise

정보의 개념을 구체화하기 위한 용어라고 알고 있으면 되며, 학습에 있어 필요한 놀람의 정도로 해석한다. 

보통 정보의 양을 나타내는 h(x)는 사건이 발생할 확률 p(x)의 음의 로그값으로 표현한다. 

 

Entropy

 

 정보가 가지고 있는 예측 불가능한 정도를 표현한다. X가 측정되었을 때 이전에 Degree of  Surprise의 개념을 활용하여 정보의 양을 해당 사건이 발생할 확률을 이용하여 음의 로그값으로 표현을 한다. 그리고 P(x)를 활용하여 해당 정보의 총 합을 계산하여 이산 데이터와 연속 데이터에 대한 엔트로피를 표현할 수가 있다. 

 

 만약 사건이 발생할 확률이 0 (아예 발생하지 않을 확률) 또는 1 (항상 발생하는 경우) 이라면 엔트로피의 값은 0이 된다. Degree of Surprise의 개념을 활용하여 Value of surprise를 도출할 수 있다. 그리고 독립적인 사건에서 정보를 가져왔다면 additive라고 부른다. (Additive : Combined effects of two or more chemicals is equal to  the sum of each effects). 그리고 정보는 음의 값을 가지지 못한다. 

 

Binary Case에 대한 Entropy를 생각해보자.

 

동전을 던지게 되는 경우 앞면이 나오는 경우의 확률을 p라고 해보자. 그렇다면 동전의 엔트로피는 위에 보이는 식처럼 정의될 수 있다. 앞면이 나오게 되는 경우와 뒷면이 나오게 되는 경우의 엔트로피의 합이 된다. (음의 로그 값으로 표현이 되므로 음의 값처럼 보이지만 양의 값을 가진다.)  변환과정이라고 적은 곳에서 - 부호를 log의 지수로  올려서 확률의 역수 값을 취하게 된다. 여기도 마찬가지로 발생할 확률이 0 (아예 발생하지 않는 경우) 또는 1 (항상 발생하는 경우)는 엔트로피가 0이 된다. 

thermodynamic entropy

 

Boltzmann 과 Gibbs에 의해서 정의 되었지만 실제로 사용될 때 계수와 로그 함수의 밑의 차이가 있다는 점이 차이점이다.

 

Coding Theory

 

8개의 상태를 나타내기 위해서는 흔히 알고 있듯 3bit가 존재해야 2^3 만큼 표현이 가능한 것으로 알고 있다. 그리고 엔트로피를  계산을 해보면 동일하게 3bit가 나오는 것을 알 수 있다. 하지만 Uniform Distribution이 아니라 발생할 확률이 각각 다른 경우를 생각해보자. 위의 표처럼 확률이 다르다면 엔트로피를 계산했을 때 2의 값이 나올 수 있음을 확인할 수 있다,. 

 

즉, 상태를 표현하는데 3bit가 평균적으로 필요하지 않음을 알 수 있다. code의 길이만을 놓고  보았을 때도 평균 2bit가 필요한 것을 볼 수 있고, 여기서 중요한 것은 엔트로피가 랜텀 Variable을 전송하는 데의 Lower bound 로 계산되는 비트를 표현한다는 점이다.

 

분포가 더 균일할 수록 엔트로피가 증가한다. 다시 말해 균등분포는 제한된 범위 내에서 최대의 엔트로피를 가진다. 반면 가우시안 분포는 제한적인 평균과 분산을 가지고 무한한 범위 안에서는 최대의 앤트로피를 가진다.