標本分布 | 数理統計 I | 天游ヶ丘数理学院

1 標本平均と標本分散

無作為標本と統計量は§E14.1 定義 2.1で定めた。本節では実数値の無作為標本を扱い、標本平均 $\bar X=n^{-1}\sum_{i=1}^nX_i$ と、 $n\geq2$ の場合の不偏標本分散 $S^2=(n-1)^{-1}\sum_{i=1}^n(X_i-\bar X)^2$ の性質を調べる。

定義 1.1. $X\in L^2(P)$ に対して、分散の非負平方根 $\sigma_X=\sqrt{\operatorname{Var}(X)}$ を $X$ の標準偏差 (standard deviation) という。

定義 1.2. 統計量 $T=T(X_1,\dots,X_n)$ の像測度 $P\circ T^{-1}$ を、 $T$ の標本分布 (sampling distribution) という。さらに $T$ が実数値で $T\in L^2(P)$ であるとき、その標準偏差 $\sqrt{\operatorname{Var}(T)}$ を、推定量 $T$ の標準誤差 (standard error)（standard error, SE）という。

定義 1.3. $X,Y\in L^2(P)$ の標準偏差がともに正であるとき、

\rho(X,Y)=\frac{\operatorname{Cov}(X,Y)}{\sigma_X\sigma_Y}

を $X$ と $Y$ の相関係数 (correlation coefficient) という。 $\operatorname{Cov}(X,Y)=0$ であるとき、 $X$ と $Y$ は無相関 (uncorrelated) であるという。分散が零の変数を含む場合、相関係数は定義しない。

§E11.4 命題 2.3により、相関係数は $|\rho(X,Y)|\leq1$ を満たす。中心化した確率変数 $X-E[X]$ と $Y-E[Y]$ を $L^2(P)$ のベクトルとみなすと、共分散は両者の内積であり、相関係数は両者がなす角の余弦である。独立な二つの $L^2(P)$ 確率変数は§E11.7 定理 3.1により無相関であるが、無相関な二変数が独立であるとは限らない。

定理 1.4. $X_1,\ldots,X_n\in L^2(P)$ とする。このとき

\operatorname{Var}\!\left(\sum_{i=1}^nX_i\right)=\sum_{i=1}^n\operatorname{Var}(X_i)+2\sum_{1\leq i<j\leq n}\operatorname{Cov}(X_i,X_j)

が成り立つ。特に、 $X_1,\ldots,X_n$ が対ごとに無相関ならば

\operatorname{Var}\!\left(\sum_{i=1}^nX_i\right)=\sum_{i=1}^n\operatorname{Var}(X_i)

である。

証明. $\mu_i=E[X_i]$ とおく。有限個の $L^2(P)$ 確率変数の和は $L^2(P)$ に属し、期待値の線形性から

\sum_{i=1}^nX_i-E\!\left[\sum_{i=1}^nX_i\right]=\sum_{i=1}^n(X_i-\mu_i)

である。右辺の平方を展開して期待値の線形性を用いると

\begin{aligned} \operatorname{Var}\!\left(\sum_{i=1}^nX_i\right) &=\sum_{i=1}^n\sum_{j=1}^nE[(X_i-\mu_i)(X_j-\mu_j)]\\ &=\sum_{i=1}^n\operatorname{Var}(X_i)+2\sum_{1\leq i<j\leq n}\operatorname{Cov}(X_i,X_j) \end{aligned}

を得る。各積の可積分性は§E11.4 定理 2.2による。対ごとに無相関ならば非対角項はすべて零である。▨

同分布性だけでは、標本平均の分散が標本サイズとともに減少するとは限らない。実確率変数 $Z$ が $0<\operatorname{Var}(Z)<\infty$ を満たすとし、各 $i$ に対して $X_i=Z$ とおく。このとき各 $X_i$ は同じ分布に従うが、相互に独立ではない。 $\bar X=Z$ であるから、すべての $n$ に対して $\operatorname{Var}(\bar X)=\operatorname{Var}(Z)$ となり、平均をとっても分散は減少しない。

命題 1.5. $X_1,\dots,X_n$ を独立同分布な実確率変数とする。 $X_1\in L^1(P)$ で $\mu=E[X_1]$ ならば

E[\bar X]=\mu.

さらに $X_1\in L^2(P)$ で $\sigma^2=\operatorname{Var}(X_1)$ ならば

\operatorname{Var}(\bar X)=\frac{\sigma^2}{n}.

$\sigma^2=0$ の場合も含む。したがって、 $\bar X$ は $\mu$ の不偏推定量であり、その分散は標本サイズに対して $1/n$ の比率で減少する。

証明. $X_i$ はすべて可積分であり、期待値の線形性から

E[\bar X]=\frac1n\sum_{i=1}^nE[X_i]=\mu

を得る。さらに $X_i\in L^2(P)$ ならば、独立性によって異なる二変数の共分散は $0$ である。定理 1.4を適用すると、

\operatorname{Var}(\bar X)=\frac1{n^2}\sum_{i=1}^n\operatorname{Var}(X_i)=\frac{\sigma^2}{n}

である。▨

分散の式には独立性より弱い仮定である二変数ずつの無相関性で足りる。期待値の式には独立性も無相関性も必要ない。

命題 1.6. $n\geq2$ とし、 $X_1,\dots,X_n$ を独立同分布な $L^2(P)$ 確率変数とする。 $\mu=E[X_1]$ 、 $\sigma^2=\operatorname{Var}(X_1)$ とおき、

S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2

と定める。このとき

S^2=\frac1{n-1}\left(\sum_{i=1}^nX_i^2-n\bar X^2\right), \qquad E[S^2]=\sigma^2.

$\sigma^2=0$ の場合も含む。

証明. $\sum_{i=1}^n(X_i-\bar X)=0$ を用いて平方を展開すると、

\sum_{i=1}^n(X_i-\bar X)^2 =\sum_{i=1}^nX_i^2-2\bar X\sum_{i=1}^nX_i+n\bar X^2 =\sum_{i=1}^nX_i^2-n\bar X^2

である。命題 1.5と分散の恒等式から

E[\bar X^2]=\frac{\sigma^2}{n}+\mu^2, \qquad E[X_i^2]=\sigma^2+\mu^2

である。したがって、

E[S^2] =\frac1{n-1}\left(n(\sigma^2+\mu^2)-n\left(\frac{\sigma^2}{n}+\mu^2\right)\right) =\sigma^2

を得る。▨

標本平均については命題 1.5より

\operatorname{SE}(\bar X)=\frac{\sigma}{\sqrt n}

である。 $n\geq2$ かつ $\sigma$ が未知のときは、標本標準偏差 $S=\sqrt{S^2}$ で置き換えた $S/\sqrt n$ を推定標準誤差として用いる。

注意 1.7 (標準偏差と標準誤差). 母標準偏差 $\sigma$ は母集団の 1 個体のばらつきであり、標本サイズ $n$ に依存しない量である。一方、標本平均の標準誤差 $\sigma/\sqrt n$ は推定量のばらつきであり、 $n$ を増やすほど $0$ に近づく。両者は $\sqrt n$ 倍だけ異なる。

例 1.8 (サイコロの標本平均). 公平なサイコロの目 $X$ は各 $k \in \{1,\dots,6\}$ に確率 $\tfrac16$ を置く。期待値の定義（§E11.4 定義 1.1）より $E[X] = \sum_{k=1}^{6} k\cdot\tfrac16 = \tfrac{1+2+3+4+5+6}{6} = \tfrac{21}{6} = 3.5.$ 像分布に関する積分公式（§E11.4 定理 1.3）で $g(x)=x^2$ をとると $E[X^2] = \sum_{k=1}^{6} k^2\cdot\tfrac16 = \tfrac{1+4+9+16+25+36}{6} = \tfrac{91}{6} \approx 15.1667.$ よって分散の恒等式（§E11.4 命題 2.3）から $\operatorname{Var}(X) = \tfrac{91}{6} - (3.5)^2 = \tfrac{91}{6} - \tfrac{49}{4} = \tfrac{182 - 147}{12} = \tfrac{35}{12} \approx 2.9167.$ 標準偏差は $\sigma_X = \sqrt{35/12} \approx 1.7078$ である。

独立な公平なサイコロ二個の目を $X_1,X_2$ とし、 $S=X_1+X_2$ とおく。期待値の線形性と独立性による分散の加法性から

E[S]=7, \qquad \operatorname{Var}(S)=\frac{35}{6}\approx5.8333

である。さらに、独立な公平なサイコロ $n$ 個の標本平均 $\bar X$ について命題 1.5を適用すると、

E[\bar X]=\frac72, \qquad \operatorname{Var}(\bar X)=\frac{35}{12n}

を得る。

2 順序統計量

補題 2.1. $n\geq1$ とする。 $Y\sim\operatorname{Bin}(n,p)$ に対して

T_x(p)=P_p(Y\geq x)\quad(1\leq x\leq n),\qquad H_x(p)=P_p(Y\leq x)\quad(0\leq x\leq n-1)

とおく。 $T_x$ は $[0,1]$ 上で連続かつ狭義単調増加であり、 $T_x(0)=0$ 、 $T_x(1)=1$ を満たす。 $0<p<1$ では

T_x'(p)=n\binom{n-1}{x-1}p^{x-1}(1-p)^{n-x}>0

である。 $H_x$ は $[0,1]$ 上で連続かつ狭義単調減少であり、 $H_x(0)=1$ 、 $H_x(1)=0$ を満たし、 $0<p<1$ では

H_x'(p)=-n\binom{n-1}{x}p^x(1-p)^{n-x-1}<0

である。さらに、 $x$ が増加すると $T_x(p)$ は非増加になり、 $H_x(p)$ は非減少になる。

証明.§E11.5 定義 1.2の確率質量関数から、 $0<p<1$ において有限和を微分する。恒等式 $k\binom nk=n\binom{n-1}{k-1}$ と $(n-k)\binom nk=n\binom{n-1}{k}$ を用いると、中間項が相殺されて

\begin{aligned} T_x'(p) &=n\sum_{k=x}^n\left\{\binom{n-1}{k-1}p^{k-1}(1-p)^{n-k} -\binom{n-1}{k}p^k(1-p)^{n-k-1}\right\}\\ &=n\binom{n-1}{x-1}p^{x-1}(1-p)^{n-x}>0 \end{aligned}

を得る。和の各項は多項式であるため $T_x$ は $[0,1]$ 上で連続であり、端点の値は確率質量関数へ $p=0,1$ を代入して得られる。また $H_x(p)=1-T_{x+1}(p)$ であるから、 $H_x$ に関する導関数、連続性、狭義単調性および端点の主張も従う。事象 $\{Y\geq x+1\}\subseteq\{Y\geq x\}$ と $\{Y\leq x\}\subseteq\{Y\leq x+1\}$ から、 $x$ に関する二つの単調性を得る。▨

命題 2.2 (順序統計量の分布). $X_1,\dots,X_n$ を分布関数 $F$ に従う独立同分布な実確率変数とし、小さい順に並べた値を $X_{(1)}\leq\cdots\leq X_{(n)}$ と書く。 $1\leq k\leq n$ と $x\in\R$ に対して

P(X_{(k)}\leq x)=\sum_{j=k}^n\binom njF(x)^j(1-F(x))^{n-j}.

この式は $F$ が原子をもつ場合にも成り立つ。さらに $F$ が Lebesgue 密度 $f$ をもつならば、 $X_{(k)}$ は密度

\frac{n!}{(k-1)!(n-k)!}F(x)^{k-1}(1-F(x))^{n-k}f(x)

をもつ。

証明. 固定した $x$ に対して $N_x=\sum_{i=1}^n\mathbf1_{\{X_i\leq x\}}$ とおく。事象 $\{X_{(k)}\leq x\}$ は $\{N_x\geq k\}$ に等しい。各指示関数は成功確率 $F(x)$ の独立な Bernoulli 確率変数であるから、

P(N_x=j)=\binom njF(x)^j(1-F(x))^{n-j}

であり、 $j=k,\dots,n$ について和を取れば分布関数の式を得る。この議論では $F$ の連続性を用いていない。

$F$ が密度 $f$ をもつとする。分布関数の式は補題 2.1の $T_k$ を用いて $T_k(F(x))$ と書くことができる。同補題の導関数の式から

T_k'(u)=\frac{n!}{(k-1)!(n-k)!}u^{k-1}(1-u)^{n-k}

である。 $T_k$ は $[0,1]$ 上で連続微分可能であり、 $F$ は絶対連続で $F'=f$ がほとんど至る所で成り立つため、合成 $T_k\circ F$ も絶対連続である。連鎖律から表示した密度を得る。▨

例 2.3 (一様標本の順序統計量). $X_1,\dots,X_n$ を区間 $(0,1)$ 上の一様分布からの無作為標本とする。 $0<x<1$ における $X_{(k)}$ の密度は

\frac{n!}{(k-1)!(n-k)!}x^{k-1}(1-x)^{n-k}

である。特に最大値 $X_{(n)}$ について

P(X_{(n)}\leq x)=x^n, \qquad f_{X_{(n)}}(x)=nx^{n-1}

となる。 $x\leq0$ では分布関数は $0$ 、 $x\geq1$ では $1$ である。

3 積率条件と標本平均

有限標本の積率公式と大標本での集中は、母集団に課す積率条件に依存する。次の標準 Cauchy 分布は、その条件を外したときに標本平均の挙動が変わる例である。

命題 3.1. 関数

f(x)=\frac1{\pi(1+x^2)}\qquad(x\in\R)

は確率密度である。この密度をもつ標準 Cauchy 分布に従う確率変数 $X$ について

E[X^+]=E[X^-]=\infty

であり、平均は定義されない。独立同分布な $X_1,X_2,\ldots$ がこの分布に従うならば、任意の $n\geq1$ に対して標本平均 $\bar X_n$ も標準 Cauchy 分布に従う。したがって、 $\bar X_n$ はどの定数にも確率収束しない。さらに、任意の $t\ne0$ に対して

E[e^{tX}]=\infty

である。

証明. 逆正接関数の原始関数を用いると

\int_{\R}\frac{dx}{\pi(1+x^2)} =\frac1\pi\left[\arctan x\right]_{-\infty}^{\infty}=1

であるから、 $f$ は確率密度である。非負確率変数の期待値を密度で積分すると

E[X^+]=\frac1\pi\int_0^\infty\frac{x}{1+x^2}\,dx=\infty, \qquad E[X^-]=\frac1\pi\int_{-\infty}^0\frac{-x}{1+x^2}\,dx=\infty

を得る。したがって $E[X]$ は正部分と負部分の期待値の差として定義されず、 $E[|X|]=\infty$ でもある。

$a>0$ に対して

f_a(x)=\frac{a}{\pi(a^2+x^2)}

とおく。逆正接関数による同じ積分から、 $f_a$ は確率密度である。 $a,b>0$ と $z\ne0$ に対して

\begin{aligned} \frac1{(x^2+a^2)((z-x)^2+b^2)} &=\frac{Ax+B}{x^2+a^2} +\frac{-A(x-z)+D}{(x-z)^2+b^2},\\ A&=\frac{2z}{\Delta},\qquad B=\frac{z^2+b^2-a^2}{\Delta},\qquad D=\frac{z^2+a^2-b^2}{\Delta},\\ \Delta&=(z^2+(a+b)^2)(z^2+(a-b)^2) \end{aligned}

が成り立つ。両辺を $[-R,R]$ 上で積分して $R\to\infty$ とする。一次の分子から生じる二つの対数項は極限で相殺され、逆正接項から

\int_{\R}\frac{dx}{(x^2+a^2)((z-x)^2+b^2)} =\pi\left(\frac Ba+\frac Db\right) =\frac{\pi(a+b)}{ab(z^2+(a+b)^2)}

を得る。固定した $a,b>0$ に対し、任意の $z,x\in\R$ について

f_a(x)f_b(z-x)\leq\frac{f_a(x)}{\pi b}

であり、右辺は $x$ について可積分である。 $f_b$ の連続性と優収束定理§E9.7 定理 3.2により、 $f_a*f_b$ は $z$ の連続関数である。上で $z\ne0$ に対して得た積分公式の右辺も $z$ について連続であるから、 $z\to0$ として同じ公式が $z=0$ でも成り立つ。したがって

(f_a*f_b)(z) =\frac{ab}{\pi^2}\int_{\R}\frac{dx}{(x^2+a^2)((z-x)^2+b^2)} =f_{a+b}(z)

である。

$S_n=X_1+\cdots+X_n$ とおく。独立な連続確率変数の和の密度を与える畳み込み定理§E11.9 定理 2.2と $f_a*f_b=f_{a+b}$ を帰納的に適用すると、 $S_n$ は密度 $f_n$ をもつ。密度の尺度変換から $S_n/n=\bar X_n$ の密度は

n f_n(nx)=\frac1{\pi(1+x^2)}=f(x)

である。任意の $c\in\R$ に対して

P(|\bar X_n-c|>1)=P(|X-c|>1)>0

は $n$ に依存しないため、 $\bar X_n$ は $c$ へ確率収束しない。

$t>0$ とする。十分大きな $x$ では $1+x^2\leq e^{tx/2}$ であるから、正の裾で

\frac{e^{tx}}{\pi(1+x^2)}\geq\frac1\pi e^{tx/2}

となり、その積分は発散する。ゆえに $E[e^{tX}]=\infty$ である。 $t<0$ の場合は $y=-x$ と変数変換すると、負の裾の積分が $-t>0$ に対する同じ積分へ移るため、やはり $E[e^{tX}]=\infty$ である。▨

4 大数の法則と中心極限定理の統計的読み

定理 4.1. $X_1,X_2,\dots$ を独立同分布な実確率変数列とし、 $X_1\in L^1(P)$ 、 $\mu=E[X_1]$ とする。このとき、任意の $\varepsilon>0$ に対して

P(|\bar X-\mu|>\varepsilon)\xrightarrow[n\to\infty]{}0, \qquad\text{すなわち}\quad\bar X\xrightarrow{P}\mu.

したがって、標本平均は母平均の一致推定量である。

証明.§E11.15 定理 2.1を $X_1,X_2,\dots$ に適用すると、表示した確率収束を得る。▨

二次可積分性も仮定するならば、大数の強法則§E11.15 定理 4.1により $\bar X\to\mu$ が確率 $1$ で成り立つ。

定理 4.2. $X_1,X_2,\dots$ を独立同分布な実確率変数列とし、 $X_1\in L^2(P)$ 、 $\mu=E[X_1]$ 、 $0<\sigma^2=\operatorname{Var}(X_1)<\infty$ とする。このとき、

\frac{\bar X-\mu}{\sigma/\sqrt n}=\frac{\sqrt n(\bar X-\mu)}{\sigma} \xrightarrow[n\to\infty]{d}N(0,1).

したがって、 $n$ が大きいとき、 $\bar X$ の分布を $N(\mu,\sigma^2/n)$ によって近似することができる。

証明.§E11.16 定理 2.1を中心化した確率変数 $X_i-\mu$ に適用すると、

\frac1{\sigma\sqrt n}\sum_{i=1}^n(X_i-\mu)\xrightarrow{d}N(0,1)

を得る。左辺は $\sqrt n(\bar X-\mu)/\sigma$ に等しい。▨

正規標本の平均. 母平均 $\mu$ は未知で母標準偏差が $\sigma=20$ である正規母集団から、大きさ $n=100$ の無作為標本を取る。標本平均の標準誤差は

\operatorname{SE}(\bar X)=\frac{\sigma}{\sqrt n}=\frac{20}{\sqrt{100}}=\frac{20}{10}=2.

独立性から $(X_1,\ldots,X_{100})$ の法則は、 $Z\sim N_{100}(0,I_{100})$ に対する $\mu\mathbf1+20Z$ の法則に等しい。したがって、多変量正規分布のアフィン像による特徴づけ§E11.10 定理 4.2を係数ベクトル $\mathbf1/100$ に適用すると、 $\bar X\sim N(\mu,2^2)$ である。ゆえに、標本平均が母平均の $\pm3$ に入る確率は正確に

P(|\bar X-\mu|<3)=2\Phi\!\left(\frac32\right)-1=2\Phi(1.5)-1\approx0.86639,

すなわち約 $87\%$ である。ただし、 $\Phi$ は標準正規分布関数であり、 $\Phi(1.5)\approx0.93319$ である。一方、1 個体の観測値 $X_1$ が母平均の $\pm3$ に入る確率は $2\Phi(3/20)-1=2\Phi(0.15)-1\approx2\times0.55962-1\approx0.119$ 、約 $12\%$ にすぎない。 $100$ 個の平均では標準誤差が $20$ から $2$ へ減少するため、この確率が約 $12\%$ から約 $87\%$ へ増加する。

5 Slutsky の定理とデルタ法

連続写像定理と Slutsky の定理は、確率変数の変換および一致推定量による定数の置換を扱う。

補題 5.1. $X_n\xrightarrow{d}X$ とし、 $C\subset\R$ を閉集合とする。このとき

\limsup_{n\to\infty}P(X_n\in C)\leq P(X\in C).

証明. $C=\varnothing$ の場合は明らかである。 $C\ne\varnothing$ とし、 $m\geq1$ に対して

f_m(x)=\max\{1-m\operatorname{dist}(x,C),0\}

とおく。§E11.17 命題 1.2により一次元の分布収束は有界連続関数による弱収束と一致するため、

\limsup_{n\to\infty}P(X_n\in C)\leq\lim_{n\to\infty}E[f_m(X_n)]=E[f_m(X)]

である。 $f_m\downarrow\mathbf1_C$ であり $0\leq f_m\leq1$ なので、優収束定理§E9.7 定理 3.2を適用し、 $m\to\infty$ とすれば結論を得る。▨

定理 5.2 (連続写像定理・Slutsky の定理). $X_n,Y_n$ を一つの確率空間上の実確率変数とし、 $X_n\xrightarrow{d}X$ 、 $Y_n\xrightarrow{P}c$ とする。ただし、 $c$ は定数である。このとき次が成り立つ。

$h:\R\to\R$ が Borel 可測であり、不連続点全体を $D_h$ とするとき、 $P(X\in D_h)=0$ ならば $h(X_n)\xrightarrow{d}h(X)$ である。
$X_n+Y_n\xrightarrow{d}X+c$ 、 $X_nY_n\xrightarrow{d}cX$ である。また、 $c\ne0$ ならば $X_n/Y_n\xrightarrow{d}X/c$ である。

商は $Y_n=0$ の事象上で任意の固定値に定める。

証明.(1)を示す。 $h$ が全域で連続な場合は§E11.17 定理 1.3の一次元特殊化である。一般の場合に、閉集合 $B\subset\R$ を取る。 $h$ が $x$ で連続で $h(x)\notin B$ ならば、 $B$ が閉であることから $x$ の近傍 $U$ で $h(U)\cap B=\varnothing$ となる。したがって、

\overline{h^{-1}(B)}\subset h^{-1}(B)\cup D_h.

補題 5.1より

\limsup_{n\to\infty}P(h(X_n)\in B) \leq P(X\in\overline{h^{-1}(B)}) \leq P(h(X)\in B)

である。補集合を取れば、開集合 $G$ に対して $\liminf_nP(h(X_n)\in G)\geq P(h(X)\in G)$ も得る。 $h(X)$ の分布関数の連続点 $t$ において、閉集合 $(-\infty,t]$ と開集合 $(-\infty,t)$ を用いると、 $P(h(X)=t)=0$ であるから分布関数が収束する。よって $h(X_n)\xrightarrow{d}h(X)$ である。

(2)の和と積は§E11.17 定理 5.3と§E11.17 系 5.4の一次元特殊化である。 $c\ne0$ とし、 $Y_n\ne0$ では $R_n=1/Y_n$ 、 $Y_n=0$ では $R_n=0$ と定める。事象 $\{|Y_n-c|<|c|/2\}$ 上では $|Y_n|>|c|/2$ であり、

\left|R_n-\frac1c\right| =\frac{|Y_n-c|}{|cY_n|} \leq\frac{2}{|c|^2}|Y_n-c|.

したがって、任意の $\varepsilon>0$ に対して

P\left(\left|R_n-\frac1c\right|>\varepsilon\right) \leq P\left(|Y_n-c|\geq\frac{|c|}{2}\right) +P\left(|Y_n-c|>\frac{\varepsilon|c|^2}{2}\right) \longrightarrow0.

この評価は $c<0$ の場合も含む。積の結論を $X_n$ と $R_n$ に適用すると $X_nR_n\xrightarrow{d}X/c$ を得る。 $Y_n=0$ 上で任意の固定値を与えた商を $Q_n$ とすると、

P(Q_n\ne X_nR_n)\leq P(Y_n=0)\leq P(|Y_n-c|\geq|c|/2)\longrightarrow0.

従って和に関する Slutsky の結論から $Q_n\xrightarrow{d}X/c$ である。▨

命題 5.3. $X_1,X_2,\dots$ を独立同分布な $L^2(P)$ 確率変数列とし、 $\mu=E[X_1]$ 、 $\sigma^2=\operatorname{Var}(X_1)$ とする。 $n\geq2$ に対して $S_n^2$ を命題 1.6の式で定めると、

S_n^2\xrightarrow{P}\sigma^2.

さらに $\sigma^2>0$ ならば、 $S_n=\sqrt{S_n^2}$ は $S_n\xrightarrow{P}\sigma$ を満たし、

\frac{\sqrt n(\bar X-\mu)}{S_n}\xrightarrow{d}N(0,1).

商は $S_n=0$ の事象上で $0$ と定める。

証明.§E11.15 定理 2.1を $X_i$ と $X_i^2$ に適用すると、

\bar X\xrightarrow{P}\mu, \qquad \frac1n\sum_{i=1}^nX_i^2\xrightarrow{P}E[X_1^2]

である。 $X_1^2\in L^1(P)$ であるため、二つ目の適用に四次積率は不要である。§E11.17 命題 5.2により

\left(\frac{n}{n-1},\frac1n\sum_{i=1}^nX_i^2,\bar X\right) \xrightarrow{P}(1,E[X_1^2],\mu)

である。写像 $(a,b,x)\mapsto a(b-x^2)$ は極限点で連続であるため、連続性の $\varepsilon$ – $\delta$ 条件と確率収束の定義から、命題 1.6の恒等式より

S_n^2=\frac{n}{n-1}\left(\frac1n\sum_{i=1}^nX_i^2-\bar X^2\right) \xrightarrow{P}E[X_1^2]-\mu^2=\sigma^2

を得る。平方根関数は $[0,\infty)$ 上で連続なので、 $\sigma^2>0$ ならば $S_n\xrightarrow{P}\sigma$ である。定理 4.2と定理 5.2 (2)の商に関する結論を、 $\sqrt n(\bar X-\mu)/\sigma$ と $S_n/\sigma$ に適用すると、最後の分布収束を得る。分母が $0$ の事象上で商を $0$ とする補完も同結論に含まれる。▨

この結論では、未知の母標準偏差を一致推定量 $S_n$ で置き換えている。

定理 5.4 (デルタ法). $X_1,X_2,\dots$ が中心極限定理定理 4.2の仮定を満たすとする。 $I\subset\R$ を $\mu$ を含む開区間とし、 $g:I\to\R$ は連続微分可能で $g'(\mu)\ne0$ とする。 $\widetilde g:\R\to\R$ が Borel 可測であり、 $\mu$ のある近傍上で $g$ と一致するならば、

\sqrt n\bigl(\widetilde g(\bar X)-g(\mu)\bigr)\xrightarrow{d}N\!\bigl(0,g'(\mu)^2\sigma^2\bigr).

延長の選択は極限分布に影響しない。

証明. $[\mu-\delta,\mu+\delta]\subset I$ となる $\delta>0$ を取る。 $|x-\mu|<\delta$ では $g(x)$ 、その外では $g(\mu)$ と定めれば Borel 可測延長が得られるため、主張に現れる延長は存在する。任意の $\widetilde g$ を固定し、

r(x)=\begin{cases} \dfrac{\widetilde g(x)-g(\mu)}{x-\mu}-g'(\mu),&x\ne\mu,\\ 0,&x=\mu \end{cases}

とおく。 $g$ の $\mu$ における微分可能性から、 $x\to\mu$ のとき $r(x)\to0$ であり、 $r$ は Borel 可測である。定理 4.1により $\bar X\xrightarrow{P}\mu$ なので、 $r(\bar X)\xrightarrow{P}0$ である。差商の定義から

\sqrt n\bigl(\widetilde g(\bar X)-g(\mu)\bigr) =\bigl(g'(\mu)+r(\bar X)\bigr)\sqrt n(\bar X-\mu)

である。定理 4.2と Slutsky の積の結論§E11.17 系 5.4を適用すると、右辺は $g'(\mu)Z$ に分布収束する。ただし $Z\sim N(0,\sigma^2)$ である。よって極限分布は $N(0,g'(\mu)^2\sigma^2)$ である。

二つの可測延長は $\mu$ のある共通近傍で一致する。定理 4.1により $\bar X$ がその近傍に入る確率は $1$ へ収束するため、二つの延長から得る確率変数が異なる確率は $0$ へ収束する。従って延長の選択は極限分布に影響しない。▨

例 5.5 (正の母平均の対数変換). $X_1,X_2,\dots$ を独立同分布な $L^2(P)$ 確率変数列とし、 $\mu=E[X_1]>0$ 、 $0<\sigma^2=\operatorname{Var}(X_1)<\infty$ とする。 $x>0$ では $\widetilde g(x)=\log x$ 、 $x\leq0$ では $\widetilde g(x)=0$ と定める。 $g(x)=\log x$ は $\mu$ の近傍で連続微分可能であり、 $g'(\mu)=1/\mu$ であるから、定理 5.4により

\sqrt n\bigl(\widetilde g(\bar X)-\log\mu\bigr) \xrightarrow{d}N\!\left(0,\frac{\sigma^2}{\mu^2}\right).

したがって、 $\sqrt n(\widetilde g(\bar X)-\log\mu)$ の極限正規分布の分散は $\sigma^2/\mu^2$ である。

例 5.6 (導関数が零になる二乗変換). $X_1,X_2,\dots$ を独立同分布な $L^2(P)$ 確率変数列とし、 $E[X_1]=0$ 、 $0<\sigma^2=\operatorname{Var}(X_1)<\infty$ とする。 $g(x)=x^2$ では $g'(0)=0$ である。定理 4.2と定理 5.2 (1)により、 $G\sim N(0,1)$ に対して

n\bar X^2=\bigl(\sqrt n\bar X\bigr)^2\xrightarrow{d}\sigma^2G^2.

さらに $1/\sqrt n\to0$ であるから、Slutsky の積の結論により

\sqrt n\bar X^2=\frac1{\sqrt n}\,n\bar X^2\xrightarrow{d}0.

すなわち、 $\sqrt n$ 尺度では極限が退化する一方、 $n$ 尺度では標準正規変数の平方の $\sigma^2$ 倍として表される非退化な極限をもつ。

6 有限標本法則と漸近法

定理 4.2は $\bar X$ 自身ではなく $\sqrt n(\bar X-\mu)/\sigma$ の分布収束を述べ、定理 4.1は $\bar X$ 自身が定数 $\mu$ へ確率収束することを述べる。

一般の独立同分布な母集団では、 $\bar X$ と $S_n^2$ の独立性や $(n-1)S_n^2/\sigma^2\sim\chi^2_{n-1}$ は有限標本では成立するとは限らない。正規性を仮定しない場合には、定理 4.2と命題 5.3が与える漸近的な正規法則を用いる。

§E14.2標本分布

1 標本平均と標本分散

2 順序統計量

3 積率条件と標本平均

4 大数の法則と中心極限定理の統計的読み

5 Slutsky の定理とデルタ法

6 有限標本法則と漸近法

前提記事