Classification

Binary Class를 구분할 수 있는 함수를 어떻게 찾을 수 있을지 생각해보자. 각 Input Data에 해당하는 Label이 주어진 상태라고 했을 때 앞으로 들어올 Data에 대해서 분류할 수 있는 함수를 찾는 방법에 대한 설명이다. 만일 표에 5개의 데이터가 있다면 이 분포를 Regression할 수 있는 선을 하나 긋고 반대의 Label을 주어 Regression을 하는 선을 하나 긋게 된다. 그렇게 되면 선이 2개가 생기게 되는데 이를 기준으로 Class 2개에 대해 판별하는 함수를 만들 수 있다.

 

두 번째로 함수를 설정하는 방식으로는 label이 0인 것들을 오히려 -1로 바꾸어 더 확실한 Regression을 만들어주는 방식이다. 이렇게 되는 경우도 Binary Classification의 역할을 충분히 할 수 있다.

 

한계점으로 2가지가 존재한다. 확률적으로 Linear Regression은 가우시안 분포를 따르지만 우리는 오직 2개의 타겟 Value가 있다는 것이고 두 번째로는 사실 우리는 모델을 확률적으로 표현할 수 있어야 하는데 이것이 가능한가에 대한 한계점도 존재한다.

 

그래서 등장한 것이 Logistic Regression이다. 지금까지 주어진 라벨 데이터를 역으로 만들거나 음수를 취해서 regression을 하는 방법으로 접근을 했었다면 함수를 대입하여 클래스를 분류하자는 것이다. Sigmoid라는 함수를 사용하게 될 것인데 이는 0과 1 사이의 범위를 가지는 확률값으로 모델을 표현할 수 있다. Linear Regression을 하게 되면 직선으로 표현되어 0보다 아래, 1보다 큰 지점이 생기는데 이 부분이 쓸모 없는 부분이라는 점에 착안하여 0과 1을 벗어나지 않는 범위에서 확률로 표현할 수 있는 모델을 만들고자 했던 것이다. 

 

Logistic 함수를 Sigmoid 함수라고 이제 부른다. Sigmoid 함수식이 도출되는 과정을 살펴보면 초기에 확률 값으로 표현하는 것은 p와 (1-p)의 비율로 표현이 되고 이것의 Log 함수를 바탕으로 한다. 해당 log 함수를 Linear regression으로 표현하고자 방정식을 세우게 되면 결국 P에 대해서 표현을 할 수 있다. 이는 결국 X 데이터가 주어졌을 때 Y가 1일 확률을 표현하는 것으로 해석될 수 있다.

 

Linear regression에 대한 Logistic function을 대입을 하면 0과 1사이의 확률값으로 표현할 수 있고 Threshold 값에 따라 클래스를 분류할 수 있는 모델이 생성된다.