일반적으로 모집단의 확률분포는 확률밀도함수(확률질량함수)로 나타낼 수 있으며, 이 함수는 모수에 의해 결정된다.
따라서 모수를 θ라고 할 때, 확률밀도함수(확률질량함수)를 f(x|θ) 로 나타낼 수 있다.
확률 (Probability)
- f(x|θ)에서 고정된 θ에 대한 x의 함수 ( = 확률밀도함수 f(x) (확률질량함수 p(x)) ) 의 값
- 확률분포를 가정, 즉 모수를 θ로 가정한 확률분포상에서 x가 일어날 가능성
- 여러 가능한 결과(X) 중 일부분(x)이 일어날 가능성을 0과 1 사이의 값으로 나타낸 것
가능도 (Likelihood)
- f(x|θ)에서 고정된 x에 대한 θ의 함수 ( = 가능도함수 L(θ) ) 의 값
- x를 고정(관측값 X가 이미 정해져 있음), 이 관측값이 모수가 θ인 확률분포에서 나왔을 가능성
- 가능도함수는 X = (x_1, x_2, ... , x_n)의 결합확률밀도함수로, L(θ) = f(x_1|θ)f(x_2|θ) ... f(x_n|θ) 로 나타낼 수 있다.
최대가능도추정법 (Method of Maximum Likelihood Estimation)이란?
가장 널리 사용되는 모수 추정 방법으로, 가능도함수가 최대가 되게 하는 모수 θ를, 모수의 추정값으로 정하는 방법
이 추정값을 최대가능도추정량(Maximum Likelihood Estimator, MLE) 라고 한다.
이때 가능도 함수 계산 시, 로그를 취한 로그가능도함수(log-likelihood function)를 사용하는 경우가 많다.
- 로그가능도함수 사용 이유?
- 로그를 취한 가능도 함수를 최대로 하는 추정량을 구하는 것이 계산 시 편리한 경우가 많다.
- 로그를 취하면서 곱셈이 덧셈으로 바뀌기 때문에 계산이 쉬워짐
- 로그함수는 증가함수이므로 가능도함수와 로그가능도함수를 최대로 하는 추정량의 값은 같다.