Estimator(추정량)이란?
추정량은 추정과 관련된 값이다. 그래서 우선 추정에 대해서 간단하게 알아보자.
추정은 표본을 활용해 모집단의 특성을 나타내는 값인, 모수(Parameter)를 추측하는 과정을 의미한다. 추정엔 특정한 값을 추측하는 점 추정과, 점 추정의 변동을 고려해 모수를 포함할 가능성이 높은 구간을 추측하는 구간 추정이 있다.
이러한 추정엔 결국 기준이 되는 값이 필요한데, 그것을 바로 추정량이라고 부른다. 추정은 다양한 추정량 중, 어떤 추정량을 활용할 것인지가 중요하고, 이에 따라 바람직한 추정량의 특성 또한 존재한다.
일반적으로 사용하면 좋은, 바람직한 추정량의 특성으로 Unbiasedness(불편성), Efficiency(효율성), Consistency(일치성), Sufficiency(충분성)이 주로 언급된다.
각 특성의 의미하는 바는 다음과 같다.
추정량의 특성
Unbiasedness(불편성)
- 추정량의 기댓값이 모수와 일치하는 지 여부를 나타내는 특성이다.
- 추정량의 기댓값과 모수 사이 Bias(편향)이 0 이라면, 그 추정량은 불편 추정량이다.
- 즉 $E(\hat\theta) - \theta = 0$일 경우, 불편성이 만족된다.
Efficiency(효율성)
- 추정량의 분산의 크고 작음을 비교할 때 활용되는 특성이다.
- $E(\hat\theta_1) = E(\hat\theta_2)=\theta$ 이고, $Var(\theta_1) < Var(\theta_2)$ 이면 $\theta_1$ 이 $\theta_2$ 보다 효율적인 추정량이라고 할 수 있다.
Consistency(일치성)
- 표본 크기가 커질 수록, 그 추정량이 모수에 근접하는지 알려주는 특성이다.
- $\lim _{n \rightarrow \infty} P\left(\left|\hat{\theta}_n-\theta\right|\leq\varepsilon\right)=1$ 라면 일치 추정량이라고 할 수 있다.
Sufficiency(충분성)
- 모수를 추정할 때, 필요한 모든 정보가 추정량에 들어있는지 알려주는 특성이다.
- 이는 $T(x)$가 충분 추정량일 경우, $P(x|\theta) = P\big(x,T(x)|\theta \big)$인 성질을 가진다는 것과 동일하다.
참고
[통계학] 14. 통계적 추정 - 점 추정과 구간 추정
우리는 추론통계에 대해 계속해서 배우고 있다. 추론통계란, 모집단에서 추출한 표본으로부터 통계량을 구...
m.blog.naver.com
- 전반적인 추정량의 특성에 대해서 확인
정보기하학과 머신러닝 [2]: 충분통계량과 f-거리
지난 글(클릭 시 1편으로 연결)에서 우리는 확률모형 사이의 거리를 어떻게 정의할지 생각해 보았다. 특히 쿨백-라이블러 거리Kullback-Leibler divergence는 일반화된 피타고라스 정리를 만족하고, 투
horizon.kias.re.kr
- 충분 통계량 설명 확인