標本平均の期待値と分散の導出

証明する内容

母平均 $m$、母標準偏差 $\sigma$(母分散 $\sigma^2$)の母集団から、大きさ $n$ の標本を無作為に抽出するとします。標本の中の$1$つ目のデータを表す確率変数を $X_1$、$2$つ目を $X_2$、……、$n$つ目を $X_n$ とすると、これらは、どれも母集団の分布(平均$m$、分散$\sigma^2$)に従う確率変数であり、互いに独立であるとみなせます。

このとき、標本平均

$ \overline{X} = \frac{X_1+X_2+\cdots+X_n}{n} $

の期待値と分散について、次の公式が成り立つことを証明します。

$ E(\overline{X}) = m, \qquad V(\overline{X}) = \frac{\sigma^2}{n} $

証明には、期待値・分散に関する、次の2つの基本性質を道具として使います。

性質A(期待値の線形性):確率変数 $Y_1,Y_2,\ldots,Y_n$ と定数 $c$ について、

$ E(Y_1+Y_2+\cdots+Y_n) = E(Y_1)+E(Y_2)+\cdots+E(Y_n), \qquad E(cY_1)=c\,E(Y_1) $

性質B(独立な確率変数の分散の加法性):確率変数 $Y_1,Y_2,\ldots,Y_n$ が互いに独立であるとき、

$ V(Y_1+Y_2+\cdots+Y_n) = V(Y_1)+V(Y_2)+\cdots+V(Y_n) $

(これらの性質は、期待値・分散の単元、および二項分布の期待値・分散を求める場面ですでに使っている、確率変数の基本的な性質です。性質Aは、確率変数がどんな値をとろうと、また互いに独立かどうかに関わらず常に成り立ちます。一方、性質Bは、$Y_i$ どうしが独立であるという条件がないと、一般には成り立たない点に注意してください。)

証明

ステップ1:期待値 $E(\overline{X})$ を計算する

$\overline{X}=\dfrac{X_1+X_2+\cdots+X_n}{n}$ に、期待値 $E(\cdot)$ を作用させます。これは $\dfrac{1}{n}$ という定数を、確率変数 $(X_1+\cdots+X_n)$ にかけた形になっているので、性質Aの後半(定数倍)を使います。

$ E(\overline{X}) = E\left(\frac{1}{n}(X_1+X_2+\cdots+X_n)\right) = \frac{1}{n}\,E(X_1+X_2+\cdots+X_n) $

次に、$E(X_1+X_2+\cdots+X_n)$ の部分に、性質Aの前半(和の期待値)を使います。

$ E(X_1+X_2+\cdots+X_n) = E(X_1)+E(X_2)+\cdots+E(X_n) $

$X_1,X_2,\ldots,X_n$ は、どれも母集団の分布(平均$m$)に従う確率変数なので、そのどれについても期待値は同じ値 $m$ です。

$ E(X_1)=E(X_2)=\cdots=E(X_n)=m $

したがって、

$ E(X_1)+E(X_2)+\cdots+E(X_n) = \underbrace{m+m+\cdots+m}_{n\text{個}} = nm $

これをもとの式に代入します。

$ E(\overline{X}) = \frac{1}{n}\times nm = m $

以上より、

$ E(\overline{X}) = m $

が証明されました。標本平均の期待値は、標本の大きさ $n$ に関わらず、常に母平均 $m$ に一致することが分かります。

ステップ2:分散 $V(\overline{X})$ を計算する準備をする

次に、分散 $V(\overline{X})$ を計算します。分散についても、期待値のときと同じように $\overline{X}=\dfrac{1}{n}(X_1+\cdots+X_n)$ という定数倍の形になっているので、まず「分散の定数倍」の性質を確認しておきます。

分散の定数倍の公式は $V(cY)=c^2V(Y)$ でした(期待値が $E(cY)=cE(Y)$ と$1$乗の$c$が出るのに対し、分散は2乗した $c^2$ が出る点に注意してください。これは、分散の定義 $V(Y)=E\bigl((Y-E(Y))^2\bigr)$ の中に $Y$ が2乗の形で入っているためです)。この公式を使うと、

$ V(\overline{X}) = V\left(\frac{1}{n}(X_1+X_2+\cdots+X_n)\right) = \left(\frac{1}{n}\right)^2 V(X_1+X_2+\cdots+X_n) = \frac{1}{n^2}\,V(X_1+X_2+\cdots+X_n) $

ステップ3:$V(X_1+X_2+\cdots+X_n)$ を計算する

ここで、$V(X_1+X_2+\cdots+X_n)$ を計算するために、性質B(独立な確率変数の分散の加法性)を使います。標本の各データ $X_1,X_2,\ldots,X_n$ は、母集団から無作為に、互いに影響を与えないように取り出されたものなので、互いに独立な確率変数とみなせます。したがって性質Bが使え、

$ V(X_1+X_2+\cdots+X_n) = V(X_1)+V(X_2)+\cdots+V(X_n) $

$X_1,X_2,\ldots,X_n$ は、どれも母集団の分布(分散$\sigma^2$)に従う確率変数なので、そのどれについても分散は同じ値 $\sigma^2$ です。

$ V(X_1)=V(X_2)=\cdots=V(X_n)=\sigma^2 $

したがって、

$ V(X_1)+V(X_2)+\cdots+V(X_n) = \underbrace{\sigma^2+\sigma^2+\cdots+\sigma^2}_{n\text{個}} = n\sigma^2 $

ステップ4:結果をまとめて $V(\overline{X})$ を求める

ステップ3の結果 $V(X_1+\cdots+X_n)=n\sigma^2$ を、ステップ2の式に代入します。

$ V(\overline{X}) = \frac{1}{n^2}\times n\sigma^2 $

右辺を約分します。$\dfrac{n}{n^2}=\dfrac{1}{n}$ なので、

$ V(\overline{X}) = \frac{n\sigma^2}{n^2} = \frac{\sigma^2}{n} $

以上より、

$ V(\overline{X}) = \frac{\sigma^2}{n} $

が証明されました。標準偏差についても、これの正の平方根をとることで、

$ \sigma(\overline{X}) = \sqrt{\frac{\sigma^2}{n}} = \frac{\sigma}{\sqrt{n}} $

が得られます。

この証明のポイント

この証明で最も重要な点は、標本の大きさ $n$ が、期待値の計算では最終的に「約分されて消えてしまう」のに対し、分散の計算では、$\dfrac{1}{n^2}$(2乗)と $n$(1乗)の差によって、最終的に $\dfrac{1}{n}$ という形で分母に残るということです。これはまさに、期待値の公式が$1$乗の線形性(性質A)だけを使うのに対し、分散の公式は2乗の性質(定数倍で$c^2$が出る)と加法性(性質B)を組み合わせて使うことの帰結です。この「標本の大きさ $n$ を大きくすればするほど、標本平均のばらつき(分散)は $\dfrac{1}{n}$ に比例して小さくなっていく」という結果は、標本サイズを大きくするほど、標本平均が母平均の推定値としてより信頼できるものになる、という統計的推測の土台となる、非常に重要な事実です。