본문 바로가기

🚓 Self Study65

Deep learning (Gradient Descent, Chain Rule, Learning Rate) Neural Network Classifier Gradient Descent 미분을 통해서 Optimize하게 된다. 하나의 스칼라 값을 W에 대해 미분을 하게 된다. W의 값을 일렬로 세워서 일차원 벡터인 것으로 생각하자. scalar 값을 나열하면 다음과 같은 식을 얻을 수 있다. (가장 오른쪽 식) 이러한 벡터를 Gradient 벡터라고 한다. 각각 Element들이 해당 Weight로 미분이 된것이 Gradient 벡터라고 한다. 수학적으로 Error surface의 error가 급격하게 변화는 방향이라고 볼 수 있다. W에 Gradient를 마이너스 한다는 것은 반대 방향으로 간다는 것을 의미한다. 감소하는 방향으로 이동하게 된다. 현재 Weight에서 Gradient를 빼주는 것이 Gradie.. 2021. 12. 23.

Deep learning(Activation Function, Forward Propagation, Single Layer Perceptron) Activation Function 우선 Non Linear한 방법을 사용할 수 있다. 확률값을 고려해보면 -1 에서 1까지의 값을 가진다. Measurement로 나온 것을 확률과 Decision으로 하기 위해서 필요하다. Forward Propagation 첫 번째 Layer의 Input Vector는 단순히 입력정보가 되고 두 번째 Layer부터는 각각 해당 Operation 함수를 거친 값들을 가진다. 다음 번의 node들도 이전의 값들로 부터 Operation이 축적되어 여러 Layer를 거쳐 전파되는 것을 Propagation이라고 한다. Node와 Connection Weight이 존재한다는 것이다. InDim : Input Layer // outDim : ouput layer connect.. 2021. 12. 23.

Deep learning (Neural Network, Perceptron Neuron) Neural Network 생물학적인 뇌세포를 모방해서 만든 Computation Model. 앞 쪽에서 신호를 받아서 Merge하고 일정 수치 이상이면 다음으로 넘기는 역할로 알려져 있다. 사람의 뇌는 복잡한 일을 할 수 있지만 뉴런 하나의 단위는 굉장히 단순하다는 것. 이런 개념으로 컴퓨팅을 하기 위한 모델링을 시작했다. Connection Weight을 곱해서 각 데이터를 더해서 Merge해주고 Activation Function 을 통해서 함수가 만들어진다. 모든 값이 시그마로 인해 더해지고 (세타)라는 값을 더하게 된다. 이 (세타)의 경우 직선의 방정식 y = ax + b에서 b가 있어야 모든 직선이 표현되듯 Bias를 (세타)로 더하게 되는 것이다. 뉴런 하나가 하는 것을 weighted s.. 2021. 12. 23.

Deep learning (Bayesian Theorem) Bayesian Theorem Classification 문제에서 몸무게와 키를 주고 남자와 여자를 구분하라는 문제를 생각해보자. 100% 맞추지만 어느정도 맞출 수 있다고 가정을 한다. 오메가1 = 남자, 오메가2 = 여자 , X = 키, 몸무게 등등의 데이터 해당 Condition을 확률로 나타내게 된다. 해당 확률을 계산하면 남자인지 여자인지를 판단할 수 있는 가능성이 있게 된다. 175cm의 70kg를 모두 모아서 남자와 여자의 수를 세는 것은 굉장히 어렵다. 왜냐하면 모든 경우의 수를 직접 찾아서 나열하는 것은 어렵기 때문이다. 일단 남자를 모두 모아서 키와 몸무게의 분포를 찾고 여자도 마찬가지로 분포를 찾는다. 이 경우 전자의 경우보다 훨씬 쉬운 경우가 된다. 키와 몸무게가 주어진 상태에서 남.. 2021. 12. 23.

Deep Learning(Classification, Regression, Overfitting) Classification 입력이 특정한 카테고리 중 하나다라고 인식하는 것. 숫자, 성별, 국적 등 정해진 카테고리 중 하나를 맞추는 문제 입력 = 패턴 , 출력 = Input data의 카테고리 Regression value 자체를 맞춰야 하는 문제 Bankrupt prediction 어떤 회사가 부도날 확률을 계산하는 문제가 하나의 예시 Sales Prediction : 몇 개가 팔릴 것 인가 단순한 카테고리 문제가 아니라 Value를 Estimate 하는 접근을 해야 한다. Input Variable이 주어진다. Regression Model function을 학습한다. y = F(x; 0) 1. linear regression 2. nonlinear regression 3. logistic re.. 2021. 12. 23.

이전 1 ··· 4 5 6 7 다음

티스토리툴바