[방학 중 공부] Machine Learning. Density Estimation #2 - MLE for Gaussian, KDE and kNN, k nearest Neighbor

 

가우시안 분포에서 Log Likelihood 함수의 Maximum한 파라미터를 찾기 위해서 Mean과 Variance에 대해서 미분을 한다. 각 식을 전개 하면 노란색 박스와 같은 식이 도출된다. Mean (Maximum Likelihood)의 경우 각 데이터 x의 Mean 값을 갖게 되고 Variance (Maximum Likelihood)의 경우 각 데이터의 편차 제곱의 평균으로 표현이 되는 것을 확인할 수 있다. 

 

 

 

 

 

 

Maximum Likelihood for Mean

 

즉 평균에 대한 ML의 평균을 구하는 식을 위에서 보자. 평균의 ML을 구하는 식은 이전 슬라이드에서 구할 수 있었으며 전개를 하게 되면 각각의 데이터에 대한 평균을 더하게 되는 식을 유도할 수 있고 이는 평균을 의미하므로 결국 평균에 대한 Maximum Likelihood 값은 평균값과 동일해진다. 다시 말해 unbiased라고 할 수 있다. 

 

Maximum Likelihood for variance

 

분산에 대한 평균을 구하는 식을 다음과 같이 전개해보자. 이 경우 N-1/N으로 계수가 붙게 되어 원본 데이터의 분산보다 작게 되는 것을 볼 수 있다. 다시 말해 Biased 된 데이터라고 볼 수 있다.

 

 

MLE를 통해서 Overfitting이 되었는지를 판별할 수도 있다. 샘플에 얼마다 Bias가 되었는지를 확인할 수 있기 때문이다. 3가지 분포를 통해 알 수 있는 것은 Set의 종류에 따라서 평균 ML은 변하지만 분산 ML은 변하지 않음을 볼 수 있다. (추후에 설명을 더 추가해야 겠다.. 아직 이해가 안됨)