Linear Regression, Approach in SLE, probabilistic, Gradient Descent

 

Supervised Learning이란 주어진 Dataset에 해당하는 Label 이 존재하는 Regression이라고 한다. Regression은 적절한 선을 찾는 과정이라고 할 수 있다. Regression은 데이터의 분포를 잘 표현할 수 있는 흐름선을 표현하는 것이고 Classification은 데이터를 잘 나눌 수 있는 분류선을 찾는 것이라고 할 수 있다.

 

주어진 Data의 분포를 d라고 표현하면 d는 Input vector로 표현되고 y는 Label에 해당하는 desired output 이라고 할 수 있다. 이때의 주어진 목표는 X에서 Y로 대응하는 함수를 찾는 것이다. 그래서 2개의 대표적인 Supervised Learning을 살펴보면 Regression은 주어진 Input data X가 이산이나 연속 분포일 경우 이에 대응하는 Y값은 연속에 해당한다. Classification은 주어진 Input data X가 이산이나 연속 분포일 경우 이에 대응하는 Y값이 이산 분포에 해당한다고 할 수 있다.

 

 

Regression을 간략하게 살펴보면 Y의 분포는 연속적 분포에 대응하는 함수를 만들 수 있다.

 

Classification은 스팸 필터를 예시로 봤을 때 스팸인가 아닌가로 분류할 수 있는 이산데이터에 해당한다고 할 수 있다.

 

라벨 데이터인 Y를 주어진 D-dim X vector로 예측하기 위한 것이 Regression의 과정이라고 이해해보자. X는 독립적인 변수, feature에 해당하고 Y는 종석 변수로 결과에 해당한다고 할 수 있다. 예를 들면 공부의 기간에 따라 종속적으로 변하는 시험 성적, 스마트폰 배터리 성능에 따라 달라지는 최장 사용 가능 기간 등이 이에 해당한다고 할 수 있다. Regression이라고 어렵게 생각할 필요없이 X에 대응하는 함수 F를 찾는 과정이라고 이해하면 편하다.

 

다른 말로 표현을 하면 x와 y의 관계를 Estimate 하는 것이 Regression에 해당한다.

 

M을 모델의 복잡도라고 했을 때 M이 복잡해질 수록 모든 데이터에 대응하게 표현할 수 있는 함수로 표현할 수 있다. 하지만 이 경우 Overfitting의 문제가 발생하며 반대로 너무 간단한 경우 Underfit 의 사례가 발생한다는 점이 있다.

 

Linear Regression, Linear 라는 용어가 붙는 이유가 무엇일까. Y는 Input Component 들의 Linear combination으로 표현할 수 있다는 것이다. Linear combination은 합과 곱으로 표현할 수 있다는 의미이고 벡터로 생각하면 이해하기 쉬울 것이다. 이때 그림에서 보이는 w는 weight에 해당하며 파라미터로 표현되는 것들이다. Input Data X에 coefficient를 곱해서 Y로 표현된다고 해서 Linear라는 의미가 붙은 Linear Regression이 되는 것이다. 이때 Input Data X 없이 W만 존재하는 항이 존재하는데 이는 Constant 항으로써 절편이자 Bias라고 불린다. 함수로 생각했을 때는 Y절편이라고 할 수 있다.

 

Deep learning에 대해 살짝 살펴보고자 한다. 해당 Linear Regresssion들을 하나의 학습 망을 구성하고 이러한 망들을 깊게 쌓았다고 해서 Deep learning이 되는 것이다.

 

Linear Regression의 예시로 1 Dim Input을 생각해볼 수 있다. y = ax + b 에서 Input x에 곱해지는 Coefficient인 a와 Constant인 b가 존재한다. Linear regression은 a와 b를 결정하는 과정이라고 할 수 있는데 이 a와 b를 weight라고 부른다. 

 

인풋 데이터가 2차원일 경우를 생각해보면 동일하지만 X2가 생기고 이에 대응하는 Coefficient와 Bias가 동일하게 증가한다. Dimension이 증가할 수록 Hyper plane이라고 부르고 회기하는 판을 하나 찾는다고 생각하면 이해하기 편한다.

 

그렇다면 Data로부터 어떻게 모델을 학습하는 것인가? 모델을 선정한다는 것은 Linear Regression을 통해서 데이터를 잘 회기하는 함수 하나를 선정하고 Objective function을 고른다. 보통 MSE로 선정해서 오차를 학습하게 되고, argument를 Minimize 하는 파라미터를 찾고 최소화하는 방향으로 진행한다. 최소화하는 이유는 라벨과 인풋 데이터의 차이를 없애는 방향과 동일하다.

 

D dimension 데이터를 사용한다고 했을 때 bias term을 추가해서 D+1 dimension이라고 가정을 해야 한다. Linear regression이라고 하면 Weight와 Input vector 간의 곱셈으로 표현할 수 있고 Matrix Multiplication으로 표현할 수 있다. 그렇기 때문에 Linear Regression을 Inner product between input and weight라고 정리할 수 있다.

 

Error 함수는 Mean squared Error로 Linear Regression과 Label의 차이 제곱을 구하고 이를 평균 낸 MSE를 Error function으로 정의한다. 그리고 이는 오차이므로 오차를 최소화하는 Weight를 찾아야 하기 때문에 w에 대해 미분하여 0이 되는 지점을 확인한다.

 

MSE를 Weight에 대해서 미분한다고 하면 노란색과 같은 식을 얻을 수 있다. 하지만 역시 Weight와 Input Vector에 대해서 Matrix Multiplication으로 표현할 수 있기 때문에 다시 W에 대한 방정식으로 표현할 수 있다.

 

MSE를 Weight에 대해서 미분한 식을 System of Linear equation으로 표현하면 위의 수식처럼 표현할 수 있다. 우리는 Weight를 구하고자 하는 것이기 때문에 W에 대해서 matrix 표현을 하면 A를 Inverse하여 Label과 곱한 형태가 된다.

 

하지만 Linear Equation 방식으로 문제를 바라볼 경우 문제가 생긴다. 왜냐하면 A matrix를 Inverse할 수 있어야 하는데 항상 가능하지 않기 때문이다. 즉 다시 말하면 Input Vector X가 Linear Independent 하지 않을 가능성이 있기 때문에 SLE 방식으로 접근하지 못하는 경우가 생긴다.

 

그렇다면 Linear Regression을 확률의 관점으로 바라보자. Gaussian Distribution을 근거하여 Log likelihood 함수를 살펴보면 위의 수식처럼 구할 수 있다. Log likelihood 함수를 구하면 MSE Term을 발견할 수 있다. 이 부분을 집중해서 MSE가 아닌 RSS를 구하고 이를 Weight에 대해 미분을 하면 위의 수식을  얻을 수 있다. 하지만 이때도 Weight에서 표현을 하고자 했을 때 Input Vector의 Transpose와 Input Vector을 곱한 것이 항상 Inverse 가능해야 한다는 전제가 필요하다. 그렇기 때문에 이것의 대안책으로 Gradient Descent가 등장한다.

 

다시 정리하자면 X가 full rank인 경우에만 가능하다는 전제가 필요하다. 

 

이 경우 Objective도 동일하게 Linear regression과 Label의 오차 제곱의 평균인 MSE로 설정을 한다. Gradient Descent는 그렇다면 무엇이 다른가? 아이디어는 Weight를 Error를 최소하는 방향으로 적용을 하는 것이다. 이전 접근 방식에 의하면 Objective function을 최소화하는 한 Weight를 찾는 것이었지만 이 경우 Weight를 미분하여 방향을 설정하고 해당 방향으로 Weight를 조정하는 식의 접근이라고 할 수 있다.

 

 Update Rule을 보면 Objective Function 의 Derivation이 최소화되는 지점이 아니라 미분 방향에 Rate를 주어 수정하는 형식이 된다. Derivative는 MSE를 미분한 그 식이 된다.

 

Gradient Descent 방식은 Error 함수의 Optimum한 곳으로 반복적으로 접근하는 방식이라고 할 수 있다. 이때 Weight를 얼마나 곱해서 최신화 할지는 Learning rate로 표현한다.