Gradient Descent Method (RSS, RMSE, Coefficient of determination)

위의 그래프는 MSE에 해당하는 오차함수 그래프이다. 이 오차의 현재 지점에서의 도함수를 구하여 기울기를 구하고 Iterative 하게 Weight를 최신화하는 방식에 대한 시각화 자료이다. 이때의 a는 learning rate이다.

 

W가 점점 기울기 부호의 반대 방향으로 이동하는 것을 확인할 수 있다.

 

 

RSS와 RMSE의 개념이 등장한다. RSS는 Mean이 아닌 Residual로 각 오차의 제곱을 평균내는 것이 아닌 그대로 더한 값을 말한다. RMSE는 MSE에 Root를 씌운 형태로 Original 한 오차의 값을 표현하고자 할 때 사용된다. 오차가 음의 값을 가지기 때문에 제곱을 해서 평균을 구했는데 반대로 루트를 씌우게 되면 원래 오차의 크기에 해당하는 값을 구할 수 있기 때문이다. R^2의 개념도 등장하는데 이는 Label 데이터의 분산과 오차의의 평균을 비교하는 것이라고 보면 된다. 1에서 RSS/TSS의 값을 빼기 때문에 범위는 0에서 1 사이의 값을 가지고, 오차와 반대로 값이 1에 가까울 수록 (커질수록) 더 좋은 모델임을 기억하자. 오른쪽 그래프에서 위의 그래프는 R2가 0.5보다 작은 값을 가질 때, R2가 0.5보다 큰 값을 가질 때 Diagonal(Perfect Prediction)에 얼마나 더 가까운지 눈으로 확인할 수 있다.