기계학습에서 Estimation을 하는 근본적 이유. Parametric Estimation이란?

Motivation for MLE

만일 동전을 던졌을 때 동전의 앞면이 나올 확률을 x 라고 하자. 10번 던졌을 경우 앞면이 7번 나오고 뒷면이 3번 나온 경우 x는 0.7 이라고 답할 것이다. 그런데 이 확률을 어떻게 추론한 것인가? 이 추론 과정은 관측(Observation) 으로부터 파라미더 (Parameter)를 도출하는 과정으로 생각할 수 있다.

 

데이터로부터 패턴(Pattern)을 찾아내는 방법 중 하나는 The Most likely probability model을 찾는 것이다.

대표적으로 두 가지 방식으로 패턴을 찾아내는데 하나는 Supervised Learning으로 정답 label 없이 입력값 x와 출력값 y의 경향성을 찾아내는 것이고 다른 하나는 Unsupervised Learning으로 확률모델 p(x)를 사용하여 경향성을 찾아내는 것이다.

 

확률모델을 위해 가정할 것들이 있다. X의 데이터들이 각각 하나의 독립적인 분포로부터 도출되었다는 것이다.

그리고 여기서 우리가 구할 것은 확률 모델이며, 이는 X의 분포들을 학습하는 것이 목표이다. 사실 그러한 가정 없이 관측한 값들로 부터 Probability Mass Function을 도출할 수 있기는 하다. 다음의 사례를 보면, 자녀의 수에 대한 확률표현을 하고 싶은 경우 각 자녀 수에 대한 변수를 X로 두어 총 7가지의 파라미터들을 학습할 수 있음을 알 수 있다. 

 

만약 X가 푸아송 분포를 따른다고 가정한 경우에는 Single Parameter를 가지는 분포로 표현할 수 있다.

 

 

Density Estimation

Density Estimation이란 주어진 유한 개의 데이터들로부터 p.d.f를 추정하는 것을 의미한다.2가지의 방법이 있는데첫째로 Parameteric Estimation은 몇개의 파라미터들로부터 특정한 함수 형태(분포)를 가정하고 데이터를 가장 잘 표현할 수 있는 파라미터들을 찾는 것이다.둘째로 Nonparameteric Estimation은 특정한 함수 분포를 가정하지 않고 전체 데이터 셋으로부터 분포를 찾아가는 과정이다. 예로 히스토그램과 kernel density estimation이 있다.

 

 

 

Parametric Estimation

 

보통 통계적 모델(Statistical Model)이 적절히 명시되어있다고 가정한다.

또한 세타는 True Parameter라고 불리며 알지 못하는 값이다. Statistical 실험의 목표는 세타를 추정하는 것다. 하지만 근본적인 문제는 데이터 셋으로부터 얻은 세타 중 True parameter 세타에 근접하는 값을 찾는 것이다. 보통 근사치의 정확도는 Bias와 Variance로 측정이 된다. 그런데 Bias를 살펴보면 Expectation이 붙은 것을 볼 수 있는데, 이는 모든 Observation이 고정되지 않았기 때문에 기대치를 사용하는 것이다. 

 

추정치의 Quality를 측정하기 위해 보통 Risk 라는 것을 사용하는데 이 Term은 Expected Squared Error를

계산하는 과정에서 도출된 것을 정리한 것이다.