不偏推定量とは

不偏推定量

『推定量の分布の期待値』が『推定したい値の真値』と一致することは,「性質が良い」推定量の条件と言えるでしょう.この性質を持つ推定量を,不偏推定量 (Unbiased estimator) と呼びます.

無作為標本$\{X_i\}_{i=1}^N$について,以下が成立します:

平均・分散の不偏推定量

(不偏)推定量 推定量の分散
平均 $\displaystyle\bar{X}=\frac{1}{N}\sum_{i=1}^N X_i$ $\displaystyle \frac{\sigma^2}{N}$
分散 $\displaystyle s^2=\frac{1}{N-1}\sum_{i=1}^N \left(X_i-\bar{X}\right)^2$ ---

今回の場合で言えば,以下がポイントとなるわけです:

  • 確率変数$\bar{X}$の平均値が,$X_i$の分布の平均値$\mu$に一致するか
  • 確率変数$S^2$の平均値が,$X_i$の分布の分散$\sigma^2$に一致するか


それでは,実際に計算してみましょう.

平均値

$EX_i=\mu$であることから,
\begin{aligned}
E\bar{X}
=\frac{1}{N}\sum_{i=1}^N EX_i
=\mu.
\end{aligned}
従って,$\displaystyle\bar{X}=\frac{1}{N}\sum_{i=1}^N X_i$は不偏推定量です.

分散

確率変数の独立性から$E\left[(X_i-\mu)(X_j-\mu) \right]=\delta_{ij}\sigma^2$なので,
\begin{aligned}
V(\bar{X})
&=E\left[(\bar{X}-E\bar{X})^2\right]\\
&= E\left[\frac{1}{N}\sum_{i=1}^N(X_i-\mu)\right]^2
=\frac{1}{N^2}\sum_{i,j=1}^N E\left[(X_i-\mu)(X_j-\mu)\right]
= \frac{1}{N^2}\sum_{i=1}^N \sigma^2\\
&=\frac{\sigma^2}{N}
\tag{1}
% \label{eq:V_barX}
\end{aligned}
が成立します.よって,
\begin{aligned}
ES^2
&=\frac{1}{N}\sum_{i=1}^N \left[E(X_i^2)-E(\bar{X}^2)\right]\\
&=\frac{1}{N}\sum_{i=1}^N\left[V(X_i)+(EX_i)^2\right]-\left[V(\bar{X})+(E\bar{X})^2\right]
=(\sigma^2+\mu^2)-\left(\frac{\sigma^2}{N}+\mu^2\right)\\
&=\sigma^2-\frac{\sigma^2}{N}
\end{aligned}
となり,真値である$\sigma^2$から$\sigma^2/N$だけシフトしていることがわかります.

従って,このシフト分を補正した

\begin{aligned}
s^2=\frac{N}{N-1}S^2=\frac{1}{N-1}\sum_{i=1}^N \left(X_i-\bar{X}\right)^2
\end{aligned}
が不偏推定量となります(不偏分散 / Unbiased variance).

補足

注:不偏推定量が「性質が良い」推定量である理由
多くの場合,平均値は最頻値に近い値をとるため,不偏推定量は真値に近い値を取る確率が高いです.特に,標本平均$\displaystyle\bar{X}=\frac{1}{N}\sum_{i=1}^N X_i$は,中心極限定理により$N$が大きくなると正規分布 (平均値=最頻値) に近づきます.加えて,$N$を大きくすれば「標本平均$\displaystyle\bar{X}$の分散」を小さくでき,推定値の精度が良くなります(以下の式(1)から,標本平均$\displaystyle\bar{X}$の分散は$\sigma^2/N$).

詳しくは,以下の記事を参照して下さい:

参考文献