§E11.5基本的な確率分布

最終更新

本記事では、頻繁に現れる離散分布と絶対連続分布を、確率質量関数または密度によって定義する。各分布について母数の範囲を明示し、期待値と分散を計算する。

1 離散分布

次の級数公式を計算に用いる。

補題 1.1.0≤q<10\leq q<1に対して、

∑k=0∞qk=11−q,∑k=0∞kqk=q(1−q)2,∑k=0∞k2qk=q(1+q)(1−q)3\sum_{k=0}^{\infty}q^k=\frac1{1-q},\quad \sum_{k=0}^{\infty}kq^k=\frac q{(1-q)^2},\quad \sum_{k=0}^{\infty}k^2q^k=\frac{q(1+q)}{(1-q)^3}

が成り立つ。

証明. 冪級数∑k≥0qk\sum_{k\geq0}q^kは∣q∣<1|q|<1で絶対収束し、その収束半径の内部では§D1.23 定理 4.3によって項別微分が成り立つ。1/(1−q)1/(1-q)を一度微分してqqを掛けると第二式を得る。第二式を微分して再びqqを掛けると第三式を得る。▨

定義 1.2.p∈[0,1]p\in[0,1]とする。P(X=1)=pP(X=1)=p、P(X=0)=1−pP(X=0)=1-pである分布を Bernoulli 分布Bern⁡(p)\operatorname{Bern}(p) (Bernoulli distribution) という。n∈{0,1,2,…}n\in\{0,1,2,\ldots\}に対して、

P(X=k)=(nk)pk(1−p)n−k(0≤k≤n)P(X=k)=\binom nkp^k(1-p)^{n-k}\quad(0\leq k\leq n)

である分布を二項分布Bin⁡(n,p)\operatorname{Bin}(n,p) (binomial distribution) という。端点を含む式では00=10^0=1と約束する。

命題 1.3.X∼Bern⁡(p)X\sim\operatorname{Bern}(p)ならばE[X]=pE[X]=p、Var⁡(X)=p(1−p)\operatorname{Var}(X)=p(1-p)である。X∼Bin⁡(n,p)X\sim\operatorname{Bin}(n,p)ならばE[X]=np,Var⁡(X)=np(1−p)E[X]=np,\qquad \operatorname{Var}(X)=np(1-p)である。

証明. Bernoulli 分布では、二点上の和を計算すると

E[X]=0(1−p)+1p=p,E[X2]=02(1−p)+12p=pE[X]=0(1-p)+1p=p, \qquad E[X^2]=0^2(1-p)+1^2p=p

である。したがって、

Var⁡(X)=E[X2]−E[X]2=p−p2=p(1−p)\operatorname{Var}(X)=E[X^2]-E[X]^2=p-p^2=p(1-p)

となる。

二項定理により二項分布の確率の総和は(p+1−p)n=1(p+1-p)^n=1である。k(nk)=n(n−1k−1)k\binom nk=n\binom{n-1}{k-1}とk(k−1)(nk)=n(n−1)(n−2k−2)k(k-1)\binom nk=n(n-1)\binom{n-2}{k-2}を用いると、E[X]=np,E[X(X−1)]=n(n−1)p2.E[X]=np,\qquad E[X(X-1)]=n(n-1)p^2.したがってE[X2]=n(n−1)p2+npE[X^2]=n(n-1)p^2+npであり、E[X2]−E[X]2=np(1−p)E[X^2]-E[X]^2=np(1-p)となる。端点n=0,1n=0,1でも同じ式が直接成り立つ。▨

定義 1.4.p∈(0,1]p\in(0,1]とし、q=1−pq=1-pとする。P(X=k)=pqk(k=0,1,2,…)P(X=k)=pq^k\quad(k=0,1,2,\ldots)である分布を幾何分布Geom⁡(p)\operatorname{Geom}(p) (geometric distribution) という。XXは最初の成功より前の失敗回数を表すため、値は00から始まる。

λ>0\lambda>0に対して、P(X=k)=e−λλkk!(k=0,1,2,…)P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!}\quad(k=0,1,2,\ldots)である分布を Poisson 分布Pois⁡(λ)\operatorname{Pois}(\lambda) (Poisson distribution) という。

命題 1.5.X∼Geom⁡(p)X\sim\operatorname{Geom}(p)ならばE[X]=1−pp,Var⁡(X)=1−pp2.E[X]=\frac{1-p}{p},\qquad\operatorname{Var}(X)=\frac{1-p}{p^2}.X∼Pois⁡(λ)X\sim\operatorname{Pois}(\lambda)ならばE[X]=λ,Var⁡(X)=λ.E[X]=\lambda,\qquad\operatorname{Var}(X)=\lambda.

証明. 幾何級数により幾何分布は規格化される。補題 1.1からE[X]=pq(1−q)2=qp,E[X2]=pq(1+q)(1−q)3=q(1+q)p2E[X]=p\frac q{(1-q)^2}=\frac qp,\qquad E[X^2]=p\frac{q(1+q)}{(1-q)^3}=\frac{q(1+q)}{p^2}であるから、分散はq/p2q/p^2である。

指数関数の級数により Poisson 分布の総質量はe−λeλ=1e^{-\lambda}e^\lambda=1である。添字をずらすとE[X]=λ,E[X(X−1)]=λ2.E[X]=\lambda,\qquad E[X(X-1)]=\lambda^2.したがってE[X2]=λ2+λE[X^2]=\lambda^2+\lambdaであり、分散はλ\lambdaである。▨

定理 1.6.X∼Geom⁡(p)X\sim\operatorname{Geom}(p)とし、m,n∈{0,1,2,…}m,n\in\{0,1,2,\ldots\}およびP(X≥m)>0P(X\geq m)>0を仮定する。このときP(X≥m+n∣X≥m)=P(X≥n)P(X\geq m+n\mid X\geq m)=P(X\geq n)が成り立つ。

証明.P(X≥r)=∑k=r∞pqk=qrP(X\geq r)=\sum_{k=r}^{\infty}pq^k=q^rである。仮定によりqm>0q^m>0であるから、条件付き確率の定義から比はqm+n/qm=qnq^{m+n}/q^m=q^nとなる。▨

2 絶対連続分布

定義 2.1.a<ba<bとする。密度f(x)=1b−a1[a,b](x)f(x)=\frac1{b-a}\mathbf1_{[a,b]}(x)をもつ分布を一様分布U[a,b]U[a,b] (uniform distribution) という。λ>0\lambda>0に対して、密度f(x)=λe−λx1[0,∞)(x)f(x)=\lambda e^{-\lambda x}\mathbf1_{[0,\infty)}(x)をもつ分布を指数分布Exp⁡(λ)\operatorname{Exp}(\lambda) (exponential distribution) という。

命題 2.2.X∼U[a,b]X\sim U[a,b]ならばE[X]=a+b2,Var⁡(X)=(b−a)212.E[X]=\frac{a+b}{2},\qquad\operatorname{Var}(X)=\frac{(b-a)^2}{12}.X∼Exp⁡(λ)X\sim\operatorname{Exp}(\lambda)ならばE[X]=1λ,Var⁡(X)=1λ2.E[X]=\frac1\lambda,\qquad\operatorname{Var}(X)=\frac1{\lambda^2}.

証明. 密度の積分はいずれも11である。一様分布ではxxとx2x^2を[a,b][a,b]上で積分すると、E[X]=a+b2,E[X2]=a2+ab+b23E[X]=\frac{a+b}{2},\qquad E[X^2]=\frac{a^2+ab+b^2}{3}を得る。差を取れば分散の式が従う。

指数分布では、xme−λx→0x^m e^{-\lambda x}\to0(x→∞)(x\to\infty)と部分積分により、E[X]=∫0∞xλe−λxdx=1λ,E[X2]=2λ2.E[X]=\int_0^\infty x\lambda e^{-\lambda x}dx=\frac1\lambda,\qquad E[X^2]=\frac2{\lambda^2}.したがって分散は1/λ21/\lambda^2である。▨

定理 2.3.X∼Exp⁡(λ)X\sim\operatorname{Exp}(\lambda)とし、s,t≥0s,t\geq0とする。このときP(X>s+t∣X>s)=P(X>t)P(X>s+t\mid X>s)=P(X>t)が成り立つ。

証明.u≥0u\geq0に対してP(X>u)=∫u∞λe−λxdx=e−λuP(X>u)=\int_u^\infty\lambda e^{-\lambda x}dx=e^{-\lambda u}である。条件事象の確率は正であるから、条件付き確率の定義により左辺はe−λ(s+t)/e−λs=e−λte^{-\lambda(s+t)}/e^{-\lambda s}=e^{-\lambda t}となる。▨

定義 2.4.μ∈R\mu\in\mathbb R、σ>0\sigma>0とする。密度f(x)=12πσexp⁡ ⁣(−(x−μ)22σ2)f(x)=\frac1{\sqrt{2\pi}\sigma}\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)をもつ分布を正規分布N(μ,σ2)N(\mu,\sigma^2) (normal distribution) という。

命題 2.5. 正規分布の密度の積分は11であり、X∼N(μ,σ2)X\sim N(\mu,\sigma^2)ならばE[X]=μ,Var⁡(X)=σ2.E[X]=\mu,\qquad\operatorname{Var}(X)=\sigma^2.

証明. Gaussian 積分§E4.14 例 3.2と有限区間上の Riemann 積分と Lebesgue 積分の一致§E9.9 系 5.2を用いる。区間を実数全体へ増加させ、単調収束定理§E9.7 定理 1.1を適用すると、∫Re−u2/2du=2π\int_{\mathbb R}e^{-u^2/2}du=\sqrt{2\pi}を得る。有限区間でu=(x−μ)/σu=(x-\mu)/\sigmaと置換し、区間を増加させて単調収束定理を適用すると、密度の積分は11である。

ϕ(u)=(2π)−1/2e−u2/2\phi(u)=(2\pi)^{-1/2}e^{-u^2/2}と置く。有限区間上で積分し、単調収束定理を適用すると、

∫R∣u∣ϕ(u)du=2lim⁡R→∞∫0Ruϕ(u)du=22π<∞.\int_{\mathbb R}|u|\phi(u)du =2\lim_{R\to\infty}\int_0^Ru\phi(u)du =\frac{2}{\sqrt{2\pi}}<\infty.

したがってE[∣X∣]≤∣μ∣+σ∫R∣u∣ϕ(u)du<∞E[|X|]\leq|\mu|+\sigma\int_{\mathbb R}|u|\phi(u)du<\inftyであり、一階積率を定義することができる。奇関数uϕ(u)u\phi(u)の対称区間上の積分からE[X]=μE[X]=\muを得る。さらに、[−R,R][-R,R]上の部分積分により

∫−RRu2ϕ(u)du=−2Rϕ(R)+∫−RRϕ(u)du.\int_{-R}^Ru^2\phi(u)du=-2R\phi(R)+\int_{-R}^R\phi(u)du.

Rϕ(R)→0R\phi(R)\to0であり、左辺に単調収束定理を適用すると、∫Ru2ϕ(u)du=1\int_{\mathbb R}u^2\phi(u)du=1である。よってE[(X−μ)2]=σ2E[(X-\mu)^2]=\sigma^2となる。▨

3 演習

問題 3.1.

  1. 二項分布についてE[X(X−1)]E[X(X-1)]を確率質量関数から計算し、分散の公式を証明せよ。
  2. X∼Geom⁡(p)X\sim\operatorname{Geom}(p)とP(X≥m)>0P(X\geq m)>0に対してP(X=k+m∣X≥m)=P(X=k)P(X=k+m\mid X\geq m)=P(X=k)を証明せよ。
  3. X∼N(μ,σ2)X\sim N(\mu,\sigma^2)とa≠0a\neq0に対して、aX+baX+bの密度を求めよ。

4 扱った範囲と次の記事

本記事では七つの基本分布を定義し、その規格化、期待値、分散を求めた。また、幾何分布と指数分布の無記憶性を証明した。次の記事では、複数の確率変数を確率ベクトルとしてまとめ、同時分布と周辺分布を扱う。

参考文献

  1. Rick Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, Cambridge, 2019.
  2. Geoffrey Grimmett and David Stirzaker, Probability and Random Processes, 3rd ed., Oxford University Press, 2001.

前提記事