§E14.1統計モデルと標本

最終更新

硬貨投げの結果から表の出る確率を調べるとき、観測されるのは零と一からなる有限列であり、知りたい成功確率そのものではない。成功確率ごとに異なる Bernoulli 分布を対応させ、観測列をそれぞれの分布の下で生じた標本として扱うことにより、確率論の対象であった分布を推論の候補として比較することができる。

しかし、母数を付けた確率法則の族を置くだけでは、標本から計算する量と、母数について推定したい量との区別は定まらない。また、正規分布N(θ2,1)N(\theta^2,1)をθ∈R\theta\in\Rで表示すると、θ≠0\theta\ne0に対してθ\thetaと−θ-\thetaは同じ観測法則を与えるため、どれほど多くの標本からも両者の符号を識別することができない。統計モデル、無作為標本、統計量および推定対象を分け、観測法則が推定対象を識別するかを確かめる必要がある。

統計モデルは、確率法則と観測から推定問題を構成するための最も基本的な枠組みの一つである。独立同分布の無作為標本をこの枠組みに置くことで、確率論で得た分布の性質を、有限標本に基づく推定と検定へ接続することができる。

本記事では、母数表示された統計モデルと無作為標本を導入し、統計量、推定対象および識別可能性を扱う。

1 統計モデル

定義 1.1. 可測空間(X,A)(\mathcal X,\mathcal A)と空でない集合Θ\Thetaをとる。各θ∈Θ\theta\in\Thetaに対して(X,A)(\mathcal X,\mathcal A)上の確率測度PθP_\thetaが与えられているとき、族

P=(Pθ)θ∈Θ\mathcal P=(P_\theta)_{\theta\in\Theta}

を母数表示された統計モデル (statistical model) という。Θ\Thetaを母数空間 (parameter space)、θ\thetaを母数 (parameter) という。真の母数がθ\thetaであるとき、PθP_\thetaを一観測の母集団分布という。

母数上に事前分布を定めるときにはΘ\Thetaに可測構造を加える。尤度を密度として表すときには、共通の支配測度と各PθP_\thetaの密度を加える。一般の統計モデルには、これらの追加構造を仮定しない。

2 無作為標本と統計量

定義 2.1. 統計モデル(Pθ)θ∈Θ(P_\theta)_{\theta\in\Theta}と正の整数nnに対して、積可測空間(Xn,A⊗n)(\mathcal X^n,\mathcal A^{\otimes n})上の確率測度Pθ⊗nP_\theta^{\otimes n}を大きさnnの標本の法則とする。座標写像

Xi(x1,…,xn)=xi(1≤i≤n)X_i(x_1,\ldots,x_n)=x_i\qquad (1\leq i\leq n)

からなる組(X1,…,Xn)(X_1,\ldots,X_n)を、PθP_\thetaからの大きさnnの無作為標本 (random sample) という。すなわち、X1,…,XnX_1,\ldots,X_nは独立で、いずれもPθP_\thetaに従う。

可測空間(S,G)(\mathcal S,\mathcal G)への可測写像

T:(Xn,A⊗n)⟶(S,G)T:(\mathcal X^n,\mathcal A^{\otimes n})\longrightarrow(\mathcal S,\mathcal G)

で、未知の母数θ\thetaに依存しないものを統計量 (statistic) という。標本から得られる確率要素T(X1,…,Xn)T(X_1,\ldots,X_n)の法則は、像測度T#(Pθ⊗n)T_{\#}(P_\theta^{\otimes n})である。

Pμ=N(μ,1)P_\mu=N(\mu,1)、μ∈R\mu\in\Rからなる正規位置モデルでは、標本平均Xˉ\bar Xは統計量である。一方、各固定したμ\muに対してXˉ−μ\bar X-\muは確率変数であるが、この式は未知の母数μ\muに依存するため、一つの統計量ではない。

X=R\mathcal X=\Rの場合、標本平均Xˉ=n−1∑i=1nXi\bar X=n^{-1}\sum_{i=1}^nX_iは実数値統計量である。n≥2n\geq2の場合、不偏標本分散(n−1)−1∑i=1n(Xi−Xˉ)2(n-1)^{-1}\sum_{i=1}^n(X_i-\bar X)^2も実数値統計量である。これらの有限標本での性質は「標本分布」で扱う。

3 推定対象と識別可能性

定義 3.1. 統計モデル(Pθ)θ∈Θ(P_\theta)_{\theta\in\Theta}に対し、集合D\mathcal Dへの写像τ:Θ⟶D\tau:\Theta\longrightarrow\mathcal Dを推定対象 (estimand) という。統計量は標本の値から定まる写像であり、推定対象は母数から定まる写像である。

定義 3.2. 統計モデル(Pθ)θ∈Θ(P_\theta)_{\theta\in\Theta}が識別可能 (identifiable) であるとは、任意のθ,η∈Θ\theta,\eta\in\Thetaに対して

Pθ=Pη⟹θ=ηP_\theta=P_\eta\quad\Longrightarrow\quad\theta=\eta

が成り立つことをいう。推定対象τ:Θ→D\tau:\Theta\to\mathcal Dが識別可能であるとは、任意のθ,η∈Θ\theta,\eta\in\Thetaに対して

Pθ=Pη⟹τ(θ)=τ(η)P_\theta=P_\eta\quad\Longrightarrow\quad\tau(\theta)=\tau(\eta)

が成り立つことをいう。

モデルの識別可能性は、異なる母数が異なる観測法則を与えるという性質である。一回の観測値から真の母数を確定することを意味しない。

命題 3.3. 統計モデル(Pθ)θ∈Θ(P_\theta)_{\theta\in\Theta}の母数θ,η∈Θ\theta,\eta\in\ThetaがPθ=PηP_\theta=P_\etaを満たすとする。このとき、任意の正の整数nnと任意の統計量T:(Xn,A⊗n)→(S,G)T:(\mathcal X^n,\mathcal A^{\otimes n})\to(\mathcal S,\mathcal G)に対して

T#(Pθ⊗n)=T#(Pη⊗n)T_{\#}(P_\theta^{\otimes n})=T_{\#}(P_\eta^{\otimes n})

が成り立つ。したがって、τ(θ)≠τ(η)\tau(\theta)\ne\tau(\eta)ならば、推定対象τ\tauは任意サイズの標本からも識別することができない。

証明.n=1n=1ではPθ=PηP_\theta=P_\etaが仮定である。n≥2n\geq2では、この等号と積測度の一意性§E9.10 定理 5.1を帰納的に用いる。したがって、任意のn≥1n\geq1に対して

Pθ⊗n=Pη⊗nP_\theta^{\otimes n}=P_\eta^{\otimes n}

を得る。同じ可測写像TTによる像測度を取ると、像測度の定義§E9.6 定義 5.1から

T#(Pθ⊗n)=T#(Pη⊗n)T_{\#}(P_\theta^{\otimes n})=T_{\#}(P_\eta^{\otimes n})

となる。τ(θ)≠τ(η)\tau(\theta)\ne\tau(\eta)であっても、任意の統計量の法則が二つの母数の下で等しいため、標本の法則から二つの推定対象値を区別することはできない。▨

例 3.4 (Bernoulli モデル).X={0,1}\mathcal X=\{0,1\}、Θ=[0,1]\Theta=[0,1]とし、Pp({1})=pP_p(\{1\})=pと定める。Pp=PqP_p=P_qならばp=Pp({1})=Pq({1})=qp=P_p(\{1\})=P_q(\{1\})=qであるから、この統計モデルは識別可能である。推定対象τ(p)=p\tau(p)=pは母集団における成功確率であり、無作為標本の和∑i=1nXi\sum_{i=1}^nX_iはその推定に用いる統計量である。

例 3.5 (冗長な母数表示).Θ=R\Theta=\Rとし、Pθ=N(θ2,1)P_\theta=N(\theta^2,1)と定める。Pθ=P−θP_\theta=P_{-\theta}であるから、この母数表示は識別可能ではない。一方、Pθ=PηP_\theta=P_\etaならば正規分布の期待値が等しいのでθ2=η2\theta^2=\eta^2である。したがって、推定対象τ(θ)=θ2\tau(\theta)=\theta^2は識別可能である。この例では、符号を含む母数θ\thetaと観測法則が決める推定対象θ2\theta^2を区別する必要がある。

前提記事