본문 바로가기

🚓 Self Study/🔴 Machine Learning10

[방학 중 공부] Machine Learning. Density Estimation #2 - MLE for Gaussian, KDE and kNN, k nearest Neighbor 가우시안 분포에서 Log Likelihood 함수의 Maximum한 파라미터를 찾기 위해서 Mean과 Variance에 대해서 미분을 한다. 각 식을 전개 하면 노란색 박스와 같은 식이 도출된다. Mean (Maximum Likelihood)의 경우 각 데이터 x의 Mean 값을 갖게 되고 Variance (Maximum Likelihood)의 경우 각 데이터의 편차 제곱의 평균으로 표현이 되는 것을 확인할 수 있다. Maximum Likelihood for Mean 즉 평균에 대한 ML의 평균을 구하는 식을 위에서 보자. 평균의 ML을 구하는 식은 이전 슬라이드에서 구할 수 있었으며 전개를 하게 되면 각각의 데이터에 대한 평균을 더하게 되는 식을 유도할 수 있고 이는 평균을 의미하므로 결국 평균에 대한.. 2022. 8. 10.

[방학 중 공부] Machine Learning. Density Estimation #1 - density estimation, parameter estimation, MLE 데이터 샘플을 표현하기 위해서 Vector가 필요하고, 해당 Dataset을 이해하기 위해서는 Sample의 분폴를 알고 있어야 한다. Density function 으로부터 확률을 추정하는 방법은 관측된 데이터들로 부터 기안한다. 그리고 관측된 데이터들은 Density Function으로부터 추출된 랜덤 샘플이라고 가정한다. 정답 Label이 없는 경우 Unsupervised라고 표현을 하며 그 분포를 알 수 있다. 다시 말해 Population의 Density를 알면 해당 데이터의 분포를 알 수 있다는 것이다. 그리고 이런 Density는 Classification으로 범주화하는 알고리즘에 사용이 된다. Classification의 경우 정답 Label이 존재하며 Baysian Thoerem에 착안하.. 2022. 8. 10.

[방학 중 공부] Machine Learning. Information Theory #2 - maximum entropy distribution, conditional theory, KL divergence, M-projection and I-projection, mutual information, cross entropy, transfer entropy 균등분포는 Maximum Entropy Distributiton을 가진다. [a,b]라는 제한된 범위에서 최대의 앤트로피를 가지는 분포를 찾는 과정을 진행해보자. 엔트로피의 경우 음의 로그값을 가지며 (Degree of Surprise) 연속적인 경우 위와 같이 표현된다. 이때 Constraint는 [a,b]에서 모든 확률을 더하면 1이 된다는 점이다. Lagrange 곱셈을 진행하면 확률 값이 균등분포에서 도출할 수 있는 값을 가진다. Marginal Entropy의 경우 앞서 계산한 것 과 동일한 앤트롤피의 계산식이며 시그마의 경우 이산적인 경우에 대한 표현이 된다. Joint Entropy의 경우 두 가지 이상의 확률이 결합되어 있는 경우라고 볼 수 있고 Conditional Entropy의 경우 .. 2022. 8. 10.

[방학 중 공부] Machine Learning. Information Theory #1 - laws of thermodynamics, entropy, asymptotic property of entropy 열역학 제 1의 법칙 : 닫힌계에서 모든 에너지의 총합은 변하지 않는다. Rudolf Kausius에 의해서 에너지 보존 법칙이 증명되었다. 열역학 제 2의 법칙 : 열역학의 체계 안에서 엔트로피는 항상 증가한다. 여기서 엔트로피란 하나의 체계 속에서 무작위성이나 무질서도를 표현하는 것으로 정의가 된다. Information theory란 무엇인가. 많은 내용의 정보를 가지고 있는 불확실한 것이다. 즉, 자주 일어나지 않는 사건의 정보량이 자주 일어나는 사건에 대한 정보량보다 많다는 것이다. Claude Shannon은 Information Theory의 아버지라고 불리며 Informatiton을 Quantity라고 정의하고 있다. Degree of f Surprise 정보의 개념을 구체화하기 위한 용어.. 2022. 8. 10.

[방학 중 공부] Machine Learning. Linear Algebra #3 2022. 7. 25.

[방학 중 공부] Machine Learning. Linear Algebra #2 2022. 7. 25.

[방학 중 공부] Machine Learning. Linear Algebra #1 2022. 7. 25.

[방학 중 공부] Machine Learning. Probabilities #3 무슨 말인지..? ************* 해당 분포로 학습을 하고 Test를 하게 되는 데이터 역시 비슷한 분포를 가질 것이라고 가정을 하는 것. Stationary 와 Nonstationary의 차이점을 잘 살펴보자. 2022. 7. 25.

[방학 중 공부] Machine Learning. Probabilities #2 Covariance가 0인 상황에 대해 X와 TY가 독립인 경우와 비슷한 성질을 가진다. Correlation과 Independence 또한 독립되어 있는 성질로 어느 하나가 성립한다고 다른 하나가 성립하지 않는다. Chain rule에서 확률의 조건으로 들어가는 것은 이미 확률의 변수로 들어간 것들로 구성된다. 2022. 7. 25.

[방학 중 공부] Machine Learning. Probabilities #1 2022. 7. 25.

이전 1 다음

티스토리툴바