본문 바로가기

🌴 Course Review (Master)/🚀 기계 학습2

MLE의 구체적인 뜻과 추정방법. KL Divergence와 MLE의 상관관계 Maximum Likelihood Estimation Likelihood function이란 무엇인가? 파라미터 해석에 따라 얼마나 관측치가 얼마나 가능성이 있는지를 표현하는 것을 의미합니다. 즉, 저희가 집중해야 하는 것은 파라미터를 어떻게 해석하느냐인데 파라미터로부터 도출되는 값(얼마나 가능성이 있는지에 대한 값 == Likelihood)이 가장 큰 것을 찾기 위한 방법이 MLE 방법입니다. 보통 MLE를 구할 때 Log 를 붙이게 되는데 그 이유는 Log함수는 단일 증가함수 이기 때문에 기존 최대값을 갖게되는 세타에 영향을 미치지 않고 계산을 더 쉽게할 수 있기 때문입니다. 또한 Log 연산의 경우 곱셈이 모두 합으로 표현되는 장점이 있습니다. Binomial Distribution의 경우를 살펴보.. 2024. 3. 7.

기계학습에서 Estimation을 하는 근본적 이유. Parametric Estimation이란? Motivation for MLE 만일 동전을 던졌을 때 동전의 앞면이 나올 확률을 x 라고 하자. 10번 던졌을 경우 앞면이 7번 나오고 뒷면이 3번 나온 경우 x는 0.7 이라고 답할 것이다. 그런데 이 확률을 어떻게 추론한 것인가? 이 추론 과정은 관측(Observation) 으로부터 파라미더 (Parameter)를 도출하는 과정으로 생각할 수 있다. 데이터로부터 패턴(Pattern)을 찾아내는 방법 중 하나는 The Most likely probability model을 찾는 것이다. 대표적으로 두 가지 방식으로 패턴을 찾아내는데 하나는 Supervised Learning으로 정답 label 없이 입력값 x와 출력값 y의 경향성을 찾아내는 것이고 다른 하나는 Unsupervised Learning.. 2024. 3. 7.

이전 1 다음

티스토리툴바