§E11.16中心極限定理

最終更新

独立な確率変数の和では、各項の分布が正規分布でなくても、中心化と分散による規格化を行うと標準正規分布が極限として現れる。本記事では、独立同分布で有限かつ正の分散をもつ場合を扱い、特性関数によってこの主張を証明する。

1 定理の設定

X1,X2,…X_1,X_2,\ldotsを独立同分布な実数値確率変数列とし、

μ=E[X1],σ2=Var⁡(X1)\mu=E[X_1],\qquad \sigma^2=\operatorname{Var}(X_1)

と書く。0<σ2<∞0<\sigma^2<\inftyのとき、

Yk=Xk−μσY_k=\frac{X_k-\mu}{\sigma}

と標準化すれば、E[Yk]=0E[Y_k]=0かつE[Yk2]=1E[Y_k^2]=1である。部分和Sn=X1+⋯+XnS_n=X_1+\cdots+X_nの標準化は

Sn−nμσn=Y1+⋯+Ynn\frac{S_n-n\mu}{\sigma\sqrt n} =\frac{Y_1+\cdots+Y_n}{\sqrt n}

となる。

証明は次の三段階からなる。第一に、標準化した一項の特性関数を原点で二次まで展開する。第二に、独立性を用いてnn項の特性関数をnn乗として表し、その極限を計算する。第三に、極限e−t2/2e^{-t^2/2}を標準正規分布の特性関数と同定し、Lévy の連続性定理を適用する。

極限分布の同定に用いる特性関数を先に計算する。

命題 1.1.Z∼N(0,1)Z\sim N(0,1)ならば、

φZ(t)=e−t2/2(t∈R)\varphi_Z(t)=e^{-t^2/2} \qquad(t\in\mathbb R)

である。

証明. 標準正規密度をg(x)=(2π)−1/2e−x2/2g(x)=(2\pi)^{-1/2}e^{-x^2/2}とする。§E11.5 定義 2.4と§E11.5 命題 2.5により、ggは確率密度であり∫∣x∣g(x) dx<∞\int |x|g(x)\,dx<\inftyである。したがって、優収束定理により

φZ′(t)=i∫Rxeitxg(x) dx\varphi_Z'(t)=i\int_{\mathbb R}xe^{itx}g(x)\,dx

である。g′(x)=−xg(x)g'(x)=-xg(x)とg(x)→0g(x)\to0を用い、[−R,R][-R,R]上で部分積分してからR→∞R\to\inftyとすると、

∫Rxeitxg(x) dx=−∫Reitxg′(x) dx=it∫Reitxg(x) dx\int_{\mathbb R}xe^{itx}g(x)\,dx =-\int_{\mathbb R}e^{itx}g'(x)\,dx =it\int_{\mathbb R}e^{itx}g(x)\,dx

を得る。ゆえにφZ′(t)=−tφZ(t)\varphi_Z'(t)=-t\varphi_Z(t)である。φZ(0)=1\varphi_Z(0)=1と合わせてこの微分方程式を解くと、φZ(t)=e−t2/2\varphi_Z(t)=e^{-t^2/2}となる。▨

複素数列のnn乗に移る箇所を独立した補題として示す。

補題 1.2. 複素数列znz_nと複素数zzが

nzn⟶znz_n\longrightarrow z

を満たすならば、

(1+zn)n⟶ez(1+z_n)^n\longrightarrow e^z

である。

証明.nzn→znz_n\to zからzn=O(1/n)z_n=O(1/n)であり、特にzn→0z_n\to0かつn∣zn∣2→0n|z_n|^2\to0である。十分大きいnnについて∣zn∣<1/2|z_n|<1/2なので、絶対収束する冪級数

Ln=∑m=1∞(−1)m+1mznmL_n=\sum_{m=1}^{\infty}\frac{(-1)^{m+1}}{m}z_n^m

を用いることができる。この級数はeLn=1+zne^{L_n}=1+z_nを満たし、

∣Ln−zn∣≤∑m=2∞∣zn∣m≤2∣zn∣2|L_n-z_n| \leq\sum_{m=2}^{\infty}|z_n|^m \leq2|z_n|^2

である。したがって、nLn→znL_n\to zであり、

(1+zn)n=enLn⟶ez(1+z_n)^n=e^{nL_n}\longrightarrow e^z

を得る。▨

2 Lindeberg–Lévy 型中心極限定理

定理 2.1 (中心極限定理).X1,X2,…X_1,X_2,\ldotsを独立同分布な実数値確率変数列とし、

E[X1]=μ,Var⁡(X1)=σ2,0<σ2<∞E[X_1]=\mu,\qquad \operatorname{Var}(X_1)=\sigma^2,\qquad 0<\sigma^2<\infty

とする。Sn=X1+⋯+XnS_n=X_1+\cdots+X_nとおけば、

Sn−nμσn⇒N(0,1)\frac{S_n-n\mu}{\sigma\sqrt n}\Rightarrow N(0,1)

である。すなわち、Φ\Phiを標準正規分布の分布関数とすると、すべてのx∈Rx\in\mathbb Rについて

lim⁡n→∞P(Sn−nμσn≤x)=Φ(x)\lim_{n\to\infty} P\left(\frac{S_n-n\mu}{\sigma\sqrt n}\leq x\right)=\Phi(x)

が成り立つ。

証明.Yk=(Xk−μ)/σY_k=(X_k-\mu)/\sigmaとおくと、Y1,Y2,…Y_1,Y_2,\ldotsも独立同分布であり、

E[Y1]=0,E[Y12]=1E[Y_1]=0,\qquad E[Y_1^2]=1

である。Y1Y_1の特性関数をφ\varphiと書く。積率による原点展開§E11.14 定理 2.2から、s→0s\to0のとき

φ(s)=1−s22+o(s2)\varphi(s)=1-\frac{s^2}{2}+o(s^2)

である。

標準化和を

Tn=Y1+⋯+YnnT_n=\frac{Y_1+\cdots+Y_n}{\sqrt n}

とおく。独立な和に対する積公式§E11.14 命題 1.3により、TnT_nの特性関数は

φTn(t)={φ(tn)}n\varphi_{T_n}(t) =\left\{\varphi\left(\frac{t}{\sqrt n}\right)\right\}^n

である。t∈Rt\in\mathbb Rを固定し、

zn=φ(tn)−1z_n=\varphi\left(\frac{t}{\sqrt n}\right)-1

とおくと、二次展開から

zn=−t22n+o(1n),nzn⟶−t22z_n=-\frac{t^2}{2n}+o\left(\frac1n\right),\qquad nz_n\longrightarrow-\frac{t^2}{2}

である。補題 1.2を適用すると、

φTn(t)=(1+zn)n⟶e−t2/2\varphi_{T_n}(t)=(1+z_n)^n\longrightarrow e^{-t^2/2}

を得る。

命題 1.1により、e−t2/2e^{-t^2/2}は標準正規分布の特性関数であり、原点で連続である。Lévy の連続性定理§E11.14 定理 4.3によりTn⇒N(0,1)T_n\Rightarrow N(0,1)である。Tn=(Sn−nμ)/(σn)T_n=(S_n-n\mu)/(\sigma\sqrt n)なので、第一の結論を得る。標準正規分布は密度をもつため、その分布関数Φ\Phiはすべての点で連続である。分布収束の定義から第二の表示もすべてのx∈Rx\in\mathbb Rについて成り立つ。▨

分散が正であるという仮定は、σ\sigmaで標準化するために必要である。σ2=0\sigma^2=0ならばX1=μX_1=\muがほとんど確実に成り立ち、Sn−nμ=0S_n-n\mu=0であるため、同じ規格化は定義されない。

3 de Moivre–Laplace の定理

Bernoulli 試行の成功回数に中心極限定理を適用する。

系 3.1 (de Moivre–Laplace の定理).0<p<10<p<1とし、X1,X2,…X_1,X_2,\ldotsを独立同分布でXk∼Bern⁡(p)X_k\sim\operatorname{Bern}(p)とする。Sn=X1+⋯+XnS_n=X_1+\cdots+X_nとおけば、すべてのx∈Rx\in\mathbb Rに対して

lim⁡n→∞P(Sn−npnp(1−p)≤x)=Φ(x)\lim_{n\to\infty} P\left(\frac{S_n-np}{\sqrt{np(1-p)}}\leq x\right)=\Phi(x)

である。特に、Sn∼Bin⁡(n,p)S_n\sim\operatorname{Bin}(n,p)であるため、標準化した二項分布は標準正規分布へ分布収束する。

証明. Bernoulli 分布の積率§E11.5 命題 1.3により、

E[Xk]=p,Var⁡(Xk)=p(1−p)>0E[X_k]=p,\qquad \operatorname{Var}(X_k)=p(1-p)>0

である。したがって、定理 2.1をμ=p\mu=p、σ2=p(1−p)\sigma^2=p(1-p)として適用すると、表示した極限を得る。

SnS_nの分布を確認する。0≤j≤n0\leq j\leq nに対してSn=jS_n=jとなるのは、nn回のうちちょうどjj回が成功する場合である。各成功位置の確率は独立性からpj(1−p)n−jp^j(1-p)^{n-j}であり、成功位置の選び方は(nj)\binom nj通りである。ゆえに

P(Sn=j)=(nj)pj(1−p)n−jP(S_n=j)=\binom njp^j(1-p)^{n-j}

であり、§E11.5 定義 1.2によってSn∼Bin⁡(n,p)S_n\sim\operatorname{Bin}(n,p)である。▨

例 3.2 (対称 Bernoulli 和).p=1/2p=1/2のとき、E[Sn]=n/2E[S_n]=n/2かつVar⁡(Sn)=n/4\operatorname{Var}(S_n)=n/4である。したがって、

2Sn−nn⇒N(0,1)\frac{2S_n-n}{\sqrt n}\Rightarrow N(0,1)

となる。各nnでは左辺は離散分布であるが、その分布関数は標準正規分布の連続な分布関数へ各点で収束する。

4 演習

問題 4.1 (問題 1：中心化を省いた場合).定理 2.1の仮定のもとでμ≠0\mu\neq0とする。Sn/(σn)S_n/(\sigma\sqrt n)が標準正規分布へ分布収束しないことを示せ。必要ならば、

Snσn=Sn−nμσn+μnσ\frac{S_n}{\sigma\sqrt n} =\frac{S_n-n\mu}{\sigma\sqrt n}+\frac{\mu\sqrt n}{\sigma}

を用いてよい。

問題 4.2 (問題 2：Rademacher 変数への適用).P(Xk=1)=P(Xk=−1)=1/2P(X_k=1)=P(X_k=-1)=1/2である独立同分布列を考える。n−1/2∑k=1nXk⇒N(0,1)n^{-1/2}\sum_{k=1}^nX_k\Rightarrow N(0,1)を、期待値と分散を計算したうえで定理 2.1から導け。

5 扱った範囲

本記事では、独立同分布で有限かつ正の分散をもつ場合の中心極限定理を、特性関数の二次展開と Lévy の連続性定理によって証明し、de Moivre–Laplace の定理を導いた。独立だが同分布ではない確率変数の三角配列を扱う Lindeberg–Feller の定理、収束率を評価する Berry–Esseen の定理、および正規分布以外を極限に含む安定分布は扱っていない。

参考文献

  1. Patrick Billingsley, Probability and Measure, Anniversary Edition, Wiley, 2012, originally published 1995.特性関数による Lindeberg–Lévy 型中心極限定理の証明を参考にした。
  2. Rick Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, Cambridge, 2019.標準化と特性関数の二次展開による証明構成を参考にした。
  3. William Feller, An Introduction to Probability Theory and Its Applications, 3rd ed., vol. I, Wiley, 1968.de Moivre–Laplace の定理の古典的な定式化を参考にした。

前提記事