MLE about Discrete & Continuous Distributions & Inference about the Exponential Family w.r.t Continuos Distribtion

변수가 이산적으로 발생하는지 연속적으로 발생하는 지에 따라 분포의 형태를 나눌 수 있다. 현재 Parameter Estimation에 대해서 다루고 있음을 기억해야 한다. 사실 분포를 가정하는 것이기 때문에 당연히 Parameter Estimation이다.

 

표기는 보통 다음과 같은 방식으로 한다. 변수, Type, Parameter를 작성한다. 위의 경우 Normal Distribution의 Type에서 평균과 분산에 해당하는 파라미터를 가지고 데이터를 추정하겠다는 뜻이 된다.

 

베르누이 분포는 두 가지의 결과만이 나오는 경우를 의미한다. 이 경우 모델 (Likelihood)은 발생하거나 발생 안하거나의 확률에 해당한다고 보면 된다. 그냥 간단하게 발생확률을 고려하면 된다.

 

 

총 N번 시행된다고 했을 때 각각의 확률은 독립이므로 파라미터(세타)에 대해 곱셈으로 표현할 수 있고, likelihood를 작성하면 다음처럼 곱셈으로 표현할 수 있다.

 

 

베르누이 분포의 Parameter Estimation은 결론적으로 최대화시키는 파라미터(세타)를 찾는 것이 되는데 이때 Log를 붙여 곱셈을 덧셈으로 바꾸고 Max value 가 되는 파라미터를 찾아야 한다. 수식은 다음과 같다.

 

Head가 나오면 계산되는 확률 1, Tail이 나오면 계산되는 확률 0에 대해 각각 N1, N0라고 표현하면 다음 식처럼 작성할 수 있다. 이때 최댓값을 구하기 위해서는 파라미터(세타)에 대해서 미분을 하여 0이 되는 값을 찾아야 한다. 파라미터에 대해서 수식을 정리하면 위의 식처럼 파라미터를 도출할 수 있다.

 

 

Binomial Distribution은 고정된 확률을 파탕으로 N번 코인을 던지는 경우에 대한 분포를 말한다. 이때 각각의 코인의 확률은 Bernoulli 분포를 따른다. 즉, 두 가지의 확률값 밖에 존재하지 않음을 알아야 한다. N1은 Head가 나오는 경우, N은 전체 던지게 되는 경우의 수, 세타는 Head가 나올 확률에 해당한다.

 

 

Likelihood를 구하라는 것이 어떤 말인지 이제 이해가 좀 될 것이다. 분포의 조건에 따른 발생 확률에 해당한다고 보면된다. Log-likelihood를 구하면 지수로 올라간 파라미터의 값이 Coefficient처럼 내려올 수 있고 파라미터에 대한 미분을 진행하면 Max 값을 가질 때의 파라미터를 추정할 수 있다. 위의 도출 과정을 보면 이해할 수 있을 것이다. 이는 Bernoulli 시행과 동일한 것을 볼 수 있는데 그 이유는 당연히.. ㅎㅎ

 

Multinomial Distribution은 주사위를 N 번 돌릴 때의 예시를 들면 이해하기 편하다. K개의 발생 경우의 수에 따른 각각의 확률을 계산한 것이다. 즉, 각각의 파라미터를 모두 더하면 1의 확률값이 나와야 한다. 분포는 다음 식처럼 나올 것이고 Maximum likelihood Solution은 N개 중에 Nk에 해당하는 경우의 수의 확률이 나온다.

 

Poisson Distribution은 특정 기간동안 평균적으로 발생한 확률에 대한 분포를 표현하는 분포이다. 변수 X에 대해서 가지는 Likelihood 함수는 위의 식과 동일하다. 지금까지 살펴본 분포는 이산형 분포로 유한개의 Output을 뽑아내는 사건에 대한 분포이다.

 

Uniform Distribution의 파라미터는 X축의 시작과 끝 지점에 해당하는 값이 된다. Density function이라고 표현하는 것은 Uniform Distribution의 확률값에 해당한다고 보면 된다.

 

가우시안 분포의 파라미터는 평균과 분산이다. 많이 봤던 Notation이다. Density function은 유명한 exp의 식이고 표현하는 방식은 위의 사진과 같다.

 

가우시안 분포의 Parameter estimation 과정을 살펴보자. 우선 Gaussian Density function에 Log를 붙이면 exp에 해당하는 부분을 Summation으로 변경할 수 있다. 구해야 하는 것이 무엇인지 항상 생각해야 하는데, 역시 parameter estimation이기 때문에 해당 데이터를 가장 잘 표현할 수 있는 파라미터를 추정하는 것이고 이때의 파라미터는 평균과 분산에 해당한다. 다음처럼 구할 수 있을 것이다.

 

 

가우시안 분포는 두가지 파라미터를 가지고 있어서 해석하기도 편하면서 자연현상을 잘 표현한다고 알려져 있다. Central Limit Theorem이라는 개념이 등장하는데, 이 의미는 어느정도 많은 샘플이 있으면 Normal Distribution에 접근하여 분포한다는 것이다. rough하게 가이드를 하고 있는데 보통 적어도 30개 이상의 샘플을 갖고 있을 때 Central Limit Theorem을 적용한다.

 

 

흔히 말하는 정규화라고 보면 된다.