최대가능도방법 MLE: Maximum Likelihood Estimation

 

최대가능도방법 MLE: Maximum Likelihood Estimation 

 

정의

최대가능도법 MLE에 대해서 알아보겠습니다.

아래는 위키에서 정의된 내용입니다.

최대가능도방법 (最大可能度方法, 영어: maximum likelihood method) 또는 최대우도법(最大尤度法)은 어떤 확률변수에서 표집한 값들을 토대로 그 확률변수의 모수를 구하는 방법이다. 어떤 모수가 주어졌을 때, 원하는 값들이 나올 가능도를 최대로 만드는 모수를 선택하는 방법이다. 점추정 방식에 속한다.

한글로 쓰여진 내용인데 이해하기가 어렵네요 ㅠㅠ   쉽게 정리해 보겠습니다.

 

먼저 가능도(Likelihood)를 알아야 합니다. 필수 입니다. 그 다음에 최대로 만드는 방법을 설명하면 좋을 것 같습니다. 

가능도는 전에 올렸던 포스팅에서 정리된 내용을 참고하시지요. (지난 포스팅은 https://bigdatamaster.tistory.com/155 여기를 참고하세요.)

간단히 정리하면

  가능도는 변수와 관측값을 가지고 모집단에서 해당 관측값이 추출될 확률을 말합니다.

 

가능도도 결국 확률이라고 설명했는데 그럼 무엇이 다른 것일까요? 이 질문에 정확한 답을 못하시면 이전 포스팅을 이해하시고 아래 내용을 봐주시면 좋겠습니다. 연속 확률인 경우에 가능도를 계산하기 위해서는 그 분포에 해당하는 PDF 확률밀도 함수를 이용합니다. 대상에 해당하는 확률밀도함수를 이용해서 샘플의 (구간)확률 값을 구해서 가능도를 구할 수 있습니다. 가능도를 정확하게 이해하는 것이 최대가능도법 MLE를 이해하기 위해서는 필수 입니다.  그럼 최대가능도법(MLE)는 무엇일까요? 최대가능도법은 말 그대로

가능도 값을 최대로 만들게하는 값을 찾는 방법/함수

입니다.

 

 

Example

직관적으로 이해를 위해 예를 들어보겠습니다. FC서울이 이번 시즌에서 FC수원과의 38 경기중에 30번을 이겼습니다. 이 번주에 열리는 수원과의 경기에서 FC서울이 승리할 확률은 얼마가 될까요?  여러분도 직관적으로 생각하실 수 있을 껍니다. 바로 30/38 = 79% 라고 생각하실 껍니다. 네 맞습니다. 이것이 최대가능도법의 결과 입니다.  이전의 가능도 포스팅에서 설명한 바와 같이 이항(베르누이)분포의 경우 아래와 같은 공식으로 가능도를 계산할 수 있습니다.

이항분포 확률질량함수(PMF)

n은 전체 게임수, k는 승리한 수, θ는 추정해야할 변수 입니다.

FC서울의 승률을 0.1이라고 가정하고 위의 공식에 대입하여 가능도를 구하면 아래와 같습니다.

결과 값이 P(D|θ) = 0.00000000000000000000211 입니다. 한 마디로 승률이 0.1일 가능성이 매우 작다는 의미 입니다.  그럼 승률을 0.7로 가정하고 다시 공식에 대입해 보겠습니다.

이말은 승률이 0.1일때 보다 0.7일 가능성이 훨씬 높다(0.072)고 해석 할 수 있습니다.

θ값을 최대로 만들기 위해서는 가능도 함수를 θ를 가지고 편미분했을 때 값이 0이되는 θ값을 찾으면 됩니다.

θ에 0, 1, k/n을 대입해 보면 θ가 0 또는 1일때 가능도가 0이 됩니다.  그리고 k/n을 대입했을때 최대값이 나옵니다. 그래서 가능도를 최대로 만들어주는 θ 값은 k/n 입니다.

 

이 예시는 데이터가 승리/패배로 구분되는 이항분포였기 때문에 이항분포 확률질량함수(PMF)를 사용하였습니다.  분포에 맞는 확률질량함수나 확률분포함수를 이용해서 구할 수 있습니다.

 

 

SUMMARY

최대가능도법(MLE)는 가능도(Likelihood)를 최대한으로 높이는 θ를 찾는 방법입니다.

확률질량함수(PMF) 또는 확률밀도함수(PDF)를 통해 계산합니다.

PMF나 PDF는 분포에 따라서 계산 방식이 다릅니다.

MLE를 이용해서 모르는 값을 최대한 정확한 수준으로 추정할 수 있습니다.

 

 

 

 

 

 

 

참고자료

https://medium.com/towards-data-science/a-gentle-introduction-to-maximum-likelihood-estimation-and-maximum-a-posteriori-estimation-d7c318f9d22d

A Gentle Introduction to Maximum Likelihood Estimation and Maximum A Posteriori Estimation