Statistical Estimator(통계적 추정량)의 특성 알아보기

Estimator(추정량)이란?

추정량은 추정과 관련된 값이다. 그래서 우선 추정에 대해서 간단하게 알아보자.

추정은 표본을 활용해 모집단의 특성을 나타내는 값인, 모수(Parameter)를 추측하는 과정을 의미한다. 추정엔 특정한 값을 추측하는 점 추정과, 점 추정의 변동을 고려해 모수를 포함할 가능성이 높은 구간을 추측하는 구간 추정이 있다.

https://medium.com/diogo-menezes-borges/introduction-to-statistics-for-data-science-16a188a400ca

이러한 추정엔 결국 기준이 되는 값이 필요한데, 그것을 바로 추정량이라고 부른다. 추정은 다양한 추정량 중, 어떤 추정량을 활용할 것인지가 중요하고, 이에 따라 바람직한 추정량의 특성 또한 존재한다. 

 

일반적으로 사용하면 좋은, 바람직한 추정량의 특성으로 Unbiasedness(불편성), Efficiency(효율성), Consistency(일치성), Sufficiency(충분성)이 주로 언급된다.

 

각 특성의 의미하는 바는 다음과 같다.

 

추정량의 특성

Unbiasedness(불편성)

• 추정량의 기댓값이 모수와 일치하는 지 여부를 나타내는 특성이다.
• 추정량의 기댓값과 모수 사이 Bias(편향)이 0 이라면, 그 추정량은 불편 추정량이다.
• 즉 $E(\hat\theta) - \theta = 0$일 경우, 불편성이 만족된다.

불편성 : https://www.bartleby.com/subject/math/statistics/concepts/types-of-bias

Efficiency(효율성)

• 추정량의 분산의 크고 작음을 비교할 때 활용되는 특성이다.
• $E(\hat\theta_1) = E(\hat\theta_2)=\theta$ 이고, $Var(\theta_1) < Var(\theta_2)$ 이면 $\theta_1$ 이 $\theta_2$ 보다 효율적인 추정량이라고 할 수 있다.

효율성 : http://www.ktword.co.kr/test/view/view.php?m_temp1=458&id=1240

 

Consistency(일치성)

• 표본 크기가 커질 수록, 그 추정량이 모수에 근접하는지 알려주는 특성이다.
• $\lim _{n \rightarrow \infty} P\left(\left|\hat{\theta}_n-\theta\right|\leq\varepsilon\right)=1$ 라면 일치 추정량이라고 할 수 있다.

일치성 :&nbsp;http://www.ktword.co.kr/test/view/view.php?m_temp1=458&id=1240

 

Sufficiency(충분성)

• 모수를 추정할 때, 필요한 모든 정보가 추정량에 들어있는지 알려주는 특성이다.
• 이는 $T(x)$가 충분 추정량일 경우, $P(x|\theta) = P\big(x,T(x)|\theta \big)$인 성질을 가진다는 것과 동일하다.

---

참고

[통계학] 14. 통계적 추정 - 점 추정과 구간 추정

• 전반적인 추정량의 특성에 대해서 확인

정보기하학과 머신러닝 [2]: 충분통계량과 f-거리

• 충분 통계량 설명 확인