Stochastic Gradient Descent, Regularization(L2 Ridge, L1 Lasso)

Gradient Descent에는 두 가 방법이 존재한다. Batch와 Online 방식이고 batch는 전체 데이터를 기준으로 Online은 데이터 하나씩을 기준으로 Weight를 최신화하는 방식이라고 할 수 있다.

 

 

Batch 학습방법은 전체 학습 데이터를 사용하여 Weight를 한 번에 최신화하는 것이라고 할 수 있다. 전체 데이터를 커버할 수 있어야 하므로 큰 메모리가 필요하다. 또한 모든 데이터를 바탕으로 하기 때문에 최적화 Route가 꽤 안정적으로 나온다는 것이 특징이다.

 

반면 Online Learning은 Training instance를 사용하여 Weight를 최신화하는 방식으로 메모리가 훨씬 적게 필요하다. 하지만 모든 데이터를 바탕으로 최신화가 되는 것이 아니기 때문에 최적화 Route가 안정적이지 못하다. 이것을 Stochastic Gradient Descent라고 부른다는 것도 기억하자. Online보다 이 용어가 훨씬 더 많이 쓰인다.

 

 

Online과 Batch의 그 중간을 적용하면 되지 않을까? 그래서 Mini Batch라는 개념이 등장한다. 전체 데이터를 바탕으로 진행하는 것이 아니라 적당한 데이터 셋의 크기를 정하여 해당 사이즈마다 학습을 진행하는 것이다. 이렇게 하면 메모리 사용이 적절한 수준으로 조절할 수 있다는 것이 특징이다. 용어를 살펴보면 Batch Size라는 것은 학습 Sample의 개수를 의미하고, Epoch은 전체 데이터 셋이 한 번 학습되었을 때를 의미하며 전체 데이터 셋이 2000개라고 했을 때의 Batch가 500이라고 할 때 4번 Iteration을 돌았을 때 1 epoch이 완성된다.

 

Error function을 살펴보면 전체에 대한 평균을 내는 것을 볼 수 있다. 그렇다면 하나의 데이터 셋에 대해서 에러를 구하면 미분할 것을 고려해서 제곱으로 표현하면 위의 식처럼 표현할 수 있다. Online 학습 방식의 경우 하나의 데이터마다 Weight를 최신화하기 때문에 Error function을 하나의 데이터에 대한 MSE를 구해야 하기 때문에 다음과 같은 방식으로 변경되는 것이라고 보면 된다.

 

Stochastic Gradient의 경우 Weight를 최신화할 때 mini Batch 단위로 업데이트를 진행해야 하므로 Online Error를 그대로 가져오되 Batch의 모든 Weight에 대해서 진행한다. learning Rate도 이때 중요한 역할을 하는데 초기에는 작은 상수값으로 시작을 하고 점차적으로 비율을 달리하여 learning rate를 줄이는 방식을 사용한다. 이를 Annealed Learning Rate라고 한다.

 

Learning rate를 초기에 작은 상수로 하는 이유는 위의 그래프처럼 초기에 데이터에 대한 최적화를 진행할 때 fitting으로 jump하는 비율이 크기 때문에 초기에 크게 주고 점점 줄여서 접근하는 방식으로 진행해야 함을 알 수 있을 것이다.

 

지금까지 배운 것은 Linear Regression으로 선형적으로 결합한 함수에 대해서 생각을 했었다. 만약 선형적으로 표현할 수 있는 데이터를 Non-linear 함수의 Input으로 넣을 수 있다면 어떻게 될 것인가? 지금까지 진행했던 것은 Weight와 X 의 Matmul에 대해서만 살펴보았다면 Input X를 non-linear하게 만드는 함수에 넣은 것과 Matmul을 진행하고자 하는 것이다. 만일 이렇게 변형하여 함수 F를 구했다고 하더라도 F는 여전히 Weight에 대해서 Linear함을 유지하고 있음을 기억하자.

 

이를 그림으로 이해해보자. Original Input을 Weight와 바로 곱하는 것이 아니라 비선형성으로 부여한 Feature function을 만들고 Weight와 곱하는 것으로 이해하면 될 것이다.

 

1차원 데이터에 맞는 다항식 곡선을 만든다고 생각해보자. 3차 다항식의 경우 3-dim까지 진행되며 모델은 1차원 데이터만을 받지만 이 경우 3차 Dimension까지 확장된 non linear expansion을 진행한 모델이라고 할 수 있다.

 

다른 경우를 살펴보자. 2차원 데이터를 입력을 받고 Feature의 표현을 5개까지 할 수 있는 Multi-dimensional 함수를 만든다고 보면 위처럼 표현할 수 있을 것이다.

 

non linear 성격을 주는 함수로는 위처럼 Polynomial, Gaussian, Sigmoid 모델이 존재한다. 

 

다음으로 살펴볼 것은 Regularization 개념으로 이는 모델의 복잡성을 낮추는 것이다. Feature를 확장하게 되면 항상 따라오는 문제는 모델이 복잡해진다는 것이다. 모델이 복잡할 수록 Overfitting의 가능성이 증가한다. 만약 복잡성이 증가하여 파라미터가 Data의 수보다 많은 경우가 생길 수 있다. 이 경우 잠재적으로 Overfitting의 문제가 생긴다. Overfitting이란 모델이 training Data를 과하게 학습하려고 하여 새로운 데이터에 대해 일반적으로 표현이 불가해지는 경우를 의미한다. 예측의 정확성은 몇 개의 Coefficient를 0으로 설정함으로써 향상시킬 수 있다. 아마 이를 Drop out 방식이라고 불린다. 대안책으로 Subset selection, Ridge, Lasso Regression이 있다.

 

 

Ridge와 lasso 정규화 이론이 왜 등장했는지를 살펴보자. 만약 모델이 너무 복잡해져서 Overfitting이 발생한다면, 이 모델의 예측 정확성은 몇 Input을 제거하면 올라가지 않을까라는 생각에서 시작한다. 즉, 모델의 복잡성을 낮추자는 아이디어에서 착안된 것이다.

 

Ridge Regression을 먼저 살펴보자. 이 경우 Objective 함수는 기존의 MSE에 L2-norm을 더한 형식이 된다. 정규화 coefficient를 L2 penalty에 곱해서 진행이 되고 람다를 작게 만들면 Weight가 작아진다는 것을 알 수 있다. Bias Term을 더 더해서 분산을 줄이는 방식으로 정규화를 수행한다.

 

Linear Regression과 Objective function이 거의 동일하고 bias Term이 붙은 차이점밖에 없으므로 식을 보면 Weight에 람다를 더한 것을 확인할 수 있다.

 

Lasso 정규화는 Ridge와 다르게 L1 Norm을 Objective function에 추가하는 것이다.

 

L1와 L2를 살펴보면 L1이 weight를 0으로 더 급하게 수렴시키는 것을 알 수 있다.

 

Ridge와 Lasso의 제약조건을 조합하여 라그랑주 승수법으로 계산을 하면 각 Constraint와 접할 때 최소점이 되는 것을 확인할 수 있다.