Understanding about Nonparametric Density Estimation. Parzen Window and kNN Method

 

Parametric Distribution 모델의 경우 데이터의 분포 추정하기가 편리하다는 장점이 있다. 하지만 특정한 functional form에 있어서 제한적이고 적합하지 않은 경우가 발생한다. 이에 반해 Nonparametric 방법은 전반적인 데이터 분포에 대해 가정이 없다는 것이 특징이다.

 

Nonparametric 방법으로는 Histogram이 있다. 당연히 히스토그램은 많이 들어봤지만 이것이 어떻게 Nonparametric한 방법에 속하는지 생각해볼 필요가 있다. Bin이라는 개념이 등장하는데 이는 equally-spaced interval이라고 생각하면 된다. 동일하게 분류된 구간 속에 해당 Data가 얼마나 들어오는지를 측정하는 방식을 채택한다고 생각하면 된다. Bin의 너비를 Vi라고 하고 ki 는 해당 구간에 측정된 관측값에 해당한다. 그래서 각각의 확률을 다음처럼 표현할 수 있다. 

 

Bin의 width에 따라서 히스토그램의 분포가 달라지는 것을 확인할 수 있다. 더 촘촘하게 bin의 넓이를 설정할 수록 더 Smooth한 분포를 만들 수 있을 것이다.

 

샘플 공간 중 R이라는 공간에 데이터가 속할 확률을 P(x)라고 설정한다. N개의 샘플이 시행될 때의 확률을 Binomial 분포를 따른다. 각각의 평균과 분산은 위의 수식을 따른다. 

 

만일 샘플 공간인 R이 매우 작고 해당 공간 R의 크기를 V라고 한다면 평균은 P(x) x V 라고 할 수 있다. 그렇다면 P = o/V = k / NV 에 해당하는데 P(x)가 더 정확한 값을 갖기 위해서는 어떻게 해야 하는가. 보통 N (데이터 크기)의 값은 고정되어 있고, V의 값이 충분히 커야 한다.

 

Nonparametric Density Estimation은 그러면 Bin의 Width만 잘 설정하면 되는 것인가? 사실 여러 가지 Issue들이 존재한다. Starting Point 문제가 존재한다. 그리고 고차원의 경우 Histrogram이 제대로 작동하지 않는다. 이는 데이터가 많아지면 Sparse해지는 현상이 발생하기 때문이다. 그렇다면 이를 해결하기 위한 방법에는 무엇이 있는가? x와 유사한 D를 추정하여 P(x)의 PDF를 만드는 것이다. 어떻게 보면 우회하는 방법이라고 이해하고 있어야 할지도 모른다.

 

 

다양한 bin의 크기를 가지는 1차원 공간을 생각해보자. 확률값은 Bin의 길이를 L 이라고 했을 때 다음처럼 표현할 수 있을 것이다. 만일 고차원 공간이라면 L은 길이가 아닌 V Volume에 해당하는 값으로 변경해야 한다. 여기서 두 가지 접근방식을 생각해볼 수 있다. k / NV 에서 V를 고정하는 KDE의 방식과 K를 고정하는 kNN의 방식이다.

 

Kernel Density Estimation은  그대로 Kernel의 크기를 통해 추정하는 방식이라고 이해하면 좋다. Parzen widow의 방법이 있는데 이는 해당 데이터를 기준으로 Volume에 해당하는 Window 를 통해 해당 구간에 속하는 지를  확인하는 방법이다. P = k / NV에 해당함을 기억하자. 다음 수식은 x를 기준으로 volume에 대해 포함되는 구간에 있는지를 파악하는 수식이다. 

 

 

KDE 예시를 살펴보면 각각의 초록색 점을 기준으로 x라는 point 3,9 15의 확률을 구하게 된다. 각각의 V = 4, N = 10에 해당하며 V = 4 라면 x = 4의 데이터에 대해서 2~6의 범위에 point가 속한다면 1 속하지 않는다면 0의 확률을 주어서 더하게 된다. 

 

Parzen widow 방식은 불연속적인 값을 가지는 것을 위의 그림을 통해서 알 수 있을 것이다. 가우시안 분포처럼 연속적인 분포, 그리고 해당 Point에 더 가까운 지점에 해당하는 경우에 대해서는 더 큰 확률 값을 지정할 수 있는 방법을 적용한 것이 Smooth kernel에 해당한다.

 

 

Bandwidth의 크기에 따른 Distribution 모형을 보면 작은 값을 준 경우 Single Gaussian과는 달리 여러 개의 분포를 표현하게 되는 것을 볼 수 있을 것이다. (표현이 이상한데,,ㅎㅎ)

 

두 번째 방법으로는 kNN 방법이 있다. 이는 k / NV 중에서  Number of sample을 고정시키는 것이다. k를 고정한다.

 

여기서 다시 한번 Parametric과 Nonparametric 방법의 차이를 분명히 할 필요가 있다. Parametric 방식은 쉽게 말해 적절한 파라미터만 저장하면 모델이 저장된다는 것이다. 연산적으로 더 효율적이고 그 만큼 모델이 적절하게 선정되어야 한다는 뜻이다. Nonparametric 방법은 더 유연하다. 유연하다는 것은 특정 분포를 가정하지 않기에 더 탄력적으로 분포를 찾을 수 있다는 뜻이다. 하지만 특정 파라미터를 저장한다고 분포를 표현할 수 없으므로 모든 Dataset을 저장하고 있어야 한다. 그렇기 때문에 연산량이 더 많을 것이다.