What is Density Estimation? The Basic approach to Machine Learning

 

Density Estimation is unsupervised learning task.

unsupervised란 데이터에 해당하는 라벨이 존재하지 않은 상태로 학습이 진행되는 것으로 데이터의 분포를 파악하는 것이 주 Task이다. 그래서 Density Estimation의 목표는 Underlying Probablility distribution model로 해당 데이터의 분포 형태를 파악하는 것이다. 그래서 Likelihood라는 개념이 등장하는데, 말에서 알 수 있듯이 데이터의 발생확률을 추정하는 과정이 사용된다.

 

Density Estimation을 할 때 하나의 중요한 가정이 존재하는데 이는 IID라고 불리는 Independently Identically Distributed의 성질이다. 이는 무슨 말이냐. 각각의 데이터가 독립이며 동일한 확률 분포에서 나온 데이터라는 뜻이다. 그렇다면 독립의 성질은 무엇인가? 각각의 곱셈이 최종 확률과 동일한 것. 즉 각각의 데이터가 서로에게 영향을 주지 않는 환경의 데이터라고 이해하면 된다. 

 

 

Density Estimation은 그렇다면 데이터에서 어떤 종류의 분포를 뽑아낼 수 있어야 하는가? 두 가지의 방법으로 분류할 수 있다. 첫 번째는 parametric Type이다. 파라미터라는 것은 무엇인가. 이는 해당 데이터가 특정 분포에서 도출되었다고 가정하는 것이다. 데이터의 분포를 추측하는데 어떤 분포에서 추출되었다고 가정하는 것이 의아할 수도 있다. 정리를 하자면 이 방식은 해당 데이터를 묘사할 수 있는 파라미터 (쎄타)를 추정하는 것으로 보면 된다. 두 번째는 non parametric Type이다. 반대로 데이터가 어떤 분포로부터 나왔다는 가정을 하지 않은 채로 진행하는 것이다. 그래서 보통 Estimate the density directly from the data라는 표현을 사용한다.

 

Parametric Method부터 살펴보자. Parameter estimation을 진행할 때 큰 가정은 파라미터에 대응하는 true value가 존재한다고 설정하는 것이다. 주어진 파라미터에 따라 변수 X의 likelihood 확률을 계산하게 되는데 이때의 목적함수인 Objective function은 해당 likelihood 함수를 최대화하는 Maximum Likelihood 함수를 찾는 것이다. 이는 확률을 최대화하는 파라미터 (세타)를 찾는 과정이라고 이해하면 된다. 이때 계산의 편의성을 위해 해당 Likelihood 함수에 log를 붙여 Log-Likelihood 함수를 설정한다.

 

 

MLE는 모델의 파라미터를 추정하는 방법 중의 하나라고 이해하면 된다. likelihood 함수를 최대화하는 과정을 진행하게 된다. 그래서 MLE의 목적은 likelihood 함수를 최대화하는 파라미터 (세타)를 찾는 것이라고 보면 된다. IID 가정에 기반하기 때문에 특정 파라미터를 조건으로 하는 확률은 Independent하며 위의 그림과 같은 Annotation으로 표현할 수 있다. 하지만 여기서 계산의 편의를 위해 Log를 씌우게 되면 곱셈이 덧셈으로 변한다.

 

MLE에 대해서 계속 알아보고 있다. Log likelihood라고 표현할 수 있고 위에서 말한 것처럼 log 덕분에 덧셈으로 표현할 수 있다. Argmax는 많은 파라미터 중 최대화하는 파라미터를 찾는다는 뜻이 된다. Log 함수는 단조증가 함수 이기 때문에 Increase와 Decrease 구간의 변화는 없다.

 

Bayesian Parameter Estimation이란 말 그대로 베이지안 확률을 적용하는 것이다. MLE는 parameter set 중에서 오직 하나만을 선정하는 알고리즘이다. 하지만 문제가 발생하는 경우가 있는데, 이는 두 개의 파라미터가 MLE에서 선택되는 경우이다. 그럼 어떻게 해결을 해야하는가? 이때 Baysian parameter Estimation을 적용한다. 파라미터 (세타)에 해당하는 사후 확률을 사용하는 것이다. 이게 무슨 말일까. 파라미터는 어떤 분포에서 나왔다고 가정하는 것이기 때문에 해당 분포의 사전 확률을 이용하여 계산하겠다는 뜻이다. 

 

 

Baysian Parameter Esitmation의 사전 확률이 파라미터의 가능한 값들을 모두 커버할 수 있다는 표현이 있다. (아직 잘 이해를 못하겠다..)