十分統計量 | 数理統計 I | 天游ヶ丘数理学院

1 十分性

定義 1.1 (十分統計量). $(\mathcal X,\mathcal A)$ 上の確率測度の非空な族 $(P_\theta)_{\theta\in\Theta}$ と、可測写像 $T:(\mathcal X,\mathcal A)\to(\mathcal Y,\mathcal B)$ を考える。任意の有界実数値 $\mathcal A$ 可測関数 $u$ に対して、有界実数値 $\mathcal B$ 可測関数 $a_u$ が存在し、すべての $\theta\in\Theta$ について

a_u(T)=E_\theta[u\mid\sigma(T)]\qquad P_\theta\text{-ほとんど確実に}

が成り立つとき、 $T$ は族 $(P_\theta)_{\theta\in\Theta}$ に対して十分 (sufficient statistic) であるという。関数 $a_u$ は母数 $\theta$ に依存しない。等式の例外となる零集合は、各 $u$ と各 $\theta$ に対して許される。

補題 1.2. $T:(\mathcal X,\mathcal A)\to(\mathcal Y,\mathcal B)$ を可測写像とする。実数値関数 $Z$ が $\sigma(T)$ 可測であるならば、 $\mathcal B$ 可測関数 $g:\mathcal Y\to\R$ が存在して $Z=g\circ T$ を満たす。 $Z:\mathcal X\to[0,\infty]$ が $\sigma(T)$ 可測である場合にも、 $\mathcal B$ 可測関数 $g:\mathcal Y\to[0,\infty]$ による同じ表示が成り立つ。

証明. 演習とする（問題 6.2）。▨

例 1.3. $n\geq2$ とし、 $X_1,\ldots,X_n$ を成功確率 $p\in(0,1)$ の Bernoulli 分布からの独立同分布標本とする。 $T=\sum_{i=1}^nX_i$ と置くと、 $T$ は $p$ に対して十分である。

実際、 $x\in\{0,1\}^n$ と $s=\sum_i x_i$ に対して $P_p(X=x)=p^s(1-p)^{n-s}$ である。和が $s$ となる列は $\binom ns$ 個であるから、 $P_p(T=s)=\binom ns p^s(1-p)^{n-s}>0$ であり、

P_p(X=x\mid T=s)=\frac1{\binom ns}\qquad\left(\sum_i x_i=s\right)

となる。有界関数 $u:\{0,1\}^n\to\R$ に対して

a_u(s)=\frac1{\binom ns}\sum_{x:\,\sum_i x_i=s}u(x) \qquad(s=0,\ldots,n)

と置けば、 $a_u$ は $p$ に依存しない。各事象 $\{T=s\}$ 上で $a_u(T)$ と $u$ の積分が一致するので、 $a_u(T)$ はすべての $p$ について $E_p[u\mid\sigma(T)]$ である。

2 共通の基準測度と測度変更

補題 2.1. $(\mathcal X,\mathcal A)$ 上の確率測度の非空な族 $(P_\theta)_{\theta\in\Theta}$ が、シグマ有限測度 $\mu$ に支配されているとする。母数の列 $(\theta_k)_{k\in\NN}$ が存在し、任意の正の実数列 $(w_k)_{k\in\NN}$ で $\sum_kw_k=1$ を満たすものに対して、確率測度

Q=\sum_{k=1}^{\infty}w_kP_{\theta_k}

はすべての $P_\theta$ を支配する。さらに、 $B\in\mathcal A$ に対して、 $Q(B)=0$ であることと、すべての $\theta\in\Theta$ について $P_\theta(B)=0$ であることは同値である。

証明. $\mathcal X$ の可測分割 $(E_m)_{m\in\NN}$ を、各 $\mu(E_m)$ が有限となるように取る。

\rho=\sum_{m=1}^{\infty}\frac{2^{-m}}{1+\mu(E_m)}\mathbf1_{E_m}

と置けば、 $\rho$ は至る所で正であり、 $0<\int\rho\,d\mu\leq1$ である。積分が正であるのは、 $\mu$ が確率測度を支配するため零測度でないことによる。密度 $\rho/\int\rho\,d\mu$ をもつ確率測度 $\nu$ は、 $\mu$ と同じ零集合をもつ。

各 $\theta$ について§E9.15 定理 3.3により密度 $p_\theta=dP_\theta/d\mu$ を選び、 $A_\theta=\{p_\theta>0\}$ と置く。有限集合 $F\subseteq\Theta$ に対する $\nu(\bigcup_{\theta\in F}A_\theta)$ の上限を $a$ とする。各 $P_\theta$ は確率測度であるから $\nu(A_\theta)>0$ であり、 $0<a\leq1$ である。各 $n\in\NN$ に対して有限集合 $F_n\subseteq\Theta$ を

\nu\left(\bigcup_{\theta\in F_n}A_\theta\right)>a-\frac1n

となるように選び、 $A=\bigcup_n\bigcup_{\theta\in F_n}A_\theta$ と置く。有限和集合の増加列に測度の下からの連続性を適用すると、 $\nu(A)=a$ である。

$\theta\in\Theta$ を固定し、 $\nu(A_\theta\setminus A)>0$ と仮定する。このとき $\nu(A\cup A_\theta)>a$ である。一方、各 $n$ について

\nu\left(A_\theta\cup\bigcup_{j=1}^n\bigcup_{\gamma\in F_j}A_\gamma\right)\leq a

であり、増加極限を取ると $\nu(A\cup A_\theta)\leq a$ となる。この二つの不等式は両立しないので、 $\nu(A_\theta\setminus A)=0$ である。したがって $\mu(A_\theta\setminus A)=0$ でもある。

$\bigcup_nF_n$ は空でない高々可算集合であるから、重複を許して列 $(\theta_k)_{k\in\NN}$ として並べる。正の重み $w_k$ の和を1とすると、単調収束定理§E9.7 定理 1.1により $Q=\sum_kw_kP_{\theta_k}$ は確率測度であり、 $\mu$ に関する密度は

q=\sum_{k=1}^{\infty}w_kp_{\theta_k}

である。 $q>0$ となる集合は $A$ に一致する。 $Q(B)=0$ ならば $\mu(B\cap A)=0$ であり、各 $\theta$ について $\mu(A_\theta\setminus A)=0$ であるから $P_\theta(B)=0$ となる。ゆえに $P_\theta\ll Q$ である。逆に、すべての $\theta$ で $P_\theta(B)=0$ ならば、混合の定義から $Q(B)=0$ である。▨

補題 2.2. $(\mathcal X,\mathcal A,Q)$ を確率空間とし、非負可測関数 $w$ が $E_Qw=1$ を満たすとする。 $P(B)=\int_Bw\,dQ$ によって確率測度 $P$ を定める。 $\mathcal G\subseteq\mathcal A$ を部分シグマ加法族とし、 $Y\in L^1(P)$ とする。

v=E_Q[w\mid\mathcal G],\qquad z=E_Q[wY\mid\mathcal G]

の有限値可測版を、 $v\geq0$ となるように選ぶと、

E_P[Y\mid\mathcal G] =\begin{cases} z/v,&v>0,\\ 0,&v=0 \end{cases} \qquad P\text{-ほとんど確実に}

が成り立つ。特に、 $\{v=0\}$ は $P$ の零集合である。

証明. 密度変更の積分公式§E9.15 命題 4.3により $E_Q[w|Y|]=E_P|Y|<\infty$ である。したがって§E11.11 定理 1.2により $v,z$ が存在し、 $v$ は正値性によって非負に選ぶことができる。任意の $B\in\mathcal G$ に対して

P(B)=\int_Bw\,dQ=\int_Bv\,dQ

である。指示関数から単関数を経て単調収束定理を適用すると、任意の非負 $\mathcal G$ 可測関数 $f$ に対して

\int f\,dP=\int fv\,dQ

となる。 $D=\{v=0\}$ と置けば $P(D)=0$ である。

$a=E_Q[w|Y|\mid\mathcal G]$ と置くと、条件付き期待値の絶対値評価§E11.11 命題 2.1 (5)より $|z|\leq a$ が $Q$ -ほとんど確実に成り立つ。 $\int_Dw\,dQ=P(D)=0$ であるから、 $w=0$ が $D$ 上で $Q$ -ほとんど確実に成り立つ。したがって $\int_Da\,dQ=\int_Dw|Y|\,dQ=0$ であり、 $z=0$ も $D$ 上で $Q$ -ほとんど確実に成り立つ。 $m=z/v$ を $D$ 上で0と定めると、 $m$ は $\mathcal G$ 可測であり、

\int|m|\,dP=\int_{\{v>0\}}|z|\,dQ\leq E_Qa=E_P|Y|<\infty

となる。さらに、任意の $B\in\mathcal G$ に対して

\int_Bm\,dP=\int_Bmv\,dQ=\int_Bz\,dQ =\int_BwY\,dQ=\int_BY\,dP

である。条件付き期待値の定義と一意性により結論を得る。▨

3 Fisher–Neyman の因子分解定理

定理 3.1 (Fisher–Neyman の因子分解定理). $(\mathcal X,\mathcal A)$ 上の確率測度の非空な族 $(P_\theta)_{\theta\in\Theta}$ がシグマ有限測度 $\mu$ に支配されているとし、有限値非負可測な密度 $p_\theta=dP_\theta/d\mu$ を選ぶ。 $T:(\mathcal X,\mathcal A)\to(\mathcal Y,\mathcal B)$ を可測写像とする。族内の可算個の確率測度の正重み混合 $Q=\sum_kw_kP_{\theta_k}$ がすべての $P_\theta$ を支配するとき、次の条件は同値である。

$T$ は $(P_\theta)_{\theta\in\Theta}$ に対して十分である。
各 $\theta\in\Theta$ について、密度 $dP_\theta/dQ$ は $\sigma(T)$ 可測な版をもつ。
有限値非負 $\mathcal A$ 可測関数 $h$ と、各 $\theta\in\Theta$ に対する有限値非負 $\mathcal B$ 可測関数 $g_\theta$ が存在し、 $p_\theta(x)=g_\theta(T(x))h(x)\qquad\mu\text{-ほとんど至る所で}$ が成り立つ。関数 $h$ は $\theta$ に依存しない。

この同値性は、全族を支配する任意の可算正重み混合 $Q$ について成立する。

証明. $\mathcal G=\sigma(T)$ と置き、 $q=dQ/d\mu$ の有限値非負版を選ぶ。

(1) $\Rightarrow$ (2)を示す。 $\theta\in\Theta$ を固定し、 $q>0$ では $r_\theta=p_\theta/q$ 、 $q=0$ では $r_\theta=0$ と置く。 $P_\theta\ll Q$ により $p_\theta=0$ が $\{q=0\}$ 上で $\mu$ -ほとんど至る所成立するため、 $r_\theta$ は $dP_\theta/dQ$ の版である。 $z_\theta=E_Q[r_\theta\mid\mathcal G]$ の非負有限値版を取ると、 $E_Qz_\theta=E_Qr_\theta=1$ である。

有界実可測関数 $u$ に対し、十分性による共通関数 $a_u$ を取る。任意の $B\in\mathcal G$ について、混合の積分を計算すると

\int_Ba_u(T)\,dQ =\sum_kw_k\int_Ba_u(T)\,dP_{\theta_k} =\sum_kw_k\int_Bu\,dP_{\theta_k} =\int_Bu\,dQ

となる。各級数は $u,a_u$ の有界性により絶対収束する。よって $a_u(T)$ は $E_Q[u\mid\mathcal G]$ の版でもある。可測因子の取り出し§E11.11 定理 2.3により

\begin{aligned} E_Q[ur_\theta] &=E_\theta u =E_\theta[a_u(T)] =E_Q[r_\theta a_u(T)]\\ &=E_Q[z_\theta a_u(T)] =E_Q[z_\theta u] \end{aligned}

を得る。最後の等式には、 $u$ が有界で $z_\theta\in L^1(Q)$ であることから $uz_\theta\in L^1(Q)$ を用いた。 $u=\mathbf1_{\{r_\theta>z_\theta\}}$ を代入すると、非負関数 $(r_\theta-z_\theta)\mathbf1_{\{r_\theta>z_\theta\}}$ の積分が0となる。逆の不等号の集合にも同じ計算を適用し、 $r_\theta=z_\theta$ が $Q$ -ほとんど確実に成り立つことを得る。

(2) $\Rightarrow$ (1)を示す。有界実可測関数 $u$ に対し、 $E_Q[u\mid\mathcal G]$ の有限値 $\mathcal G$ 可測版を取る。補題 1.2により $a_u(T)$ と表示し、 $a_u$ を $[-\sup|u|,\sup|u|]$ へ切断すれば、有界な版を得る。各 $\theta$ について $dP_\theta/dQ$ の非負有限値 $\mathcal G$ 可測版 $r_\theta$ を取る。§E11.11 定理 2.3 (2)により

E_Q[r_\theta u\mid\mathcal G]=r_\theta a_u(T),\qquad E_Q[r_\theta\mid\mathcal G]=r_\theta

である。測度変更の補題補題 2.2により、 $r_\theta>0$ 上で $E_\theta[u\mid\mathcal G]=a_u(T)$ となる。 $\{r_\theta=0\}$ は $P_\theta$ の零集合であるから、同じ $a_u$ がすべての $\theta$ に対する条件付き期待値を与える。

(2) $\Rightarrow$ (3)を示す。各 $\theta$ について、 $dP_\theta/dQ$ の非負有限値 $\mathcal G$ 可測版を補題 1.2により $g_\theta(T)$ と表示する。得られた $g_\theta$ を非負部分で置き換えても表示は変わらない。 $h=q$ と置けば、密度変更の積分公式§E9.15 命題 4.3と密度の一意性§E9.15 定理 4.1から $p_\theta=g_\theta(T)h$ が $\mu$ -ほとんど至る所で成り立つ。

(3) $\Rightarrow$ (2)を示す。

b(y)=\sum_kw_kg_{\theta_k}(y)

と置くと、 $b$ は $[0,\infty]$ 値の $\mathcal B$ 可測関数である。可算個の密度の等式の例外零集合を除けば、

q(x)=h(x)b(T(x))

となる。ただし $0\cdot\infty=0$ とする。 $q$ は確率密度であるから、 $0<q<\infty$ は $Q$ -ほとんど確実に成り立つ。この集合上では $0<h<\infty$ かつ $0<b(T)<\infty$ である。各 $\theta$ に対して

c_\theta(y)=\begin{cases} g_\theta(y)/b(y),&0<b(y)<\infty,\\ 0,&\text{それ以外} \end{cases}

と定めると、 $c_\theta$ は有限値非負可測関数であり、 $dP_\theta/dQ=c_\theta(T)$ が $Q$ -ほとんど確実に成り立つ。▨

注意 3.2. 可算な標本空間では、数え上げ測度を支配測度に取ると因子分解の等式は各標本点で成り立つ。 Euclid 空間の密度モデルでは、等式は各母数について Lebesgue 測度に関してほとんど至る所での等式である。連続分布の統計量について $P_\theta(T=t)=0$ となる場合にも、因子分解定理は条件付き期待値の積分等式によって十分性を与える。

命題 3.3. $(\mathcal X,\mathcal A)$ 上の非空な確率測度族 $(P_\theta)_{\theta\in\Theta}$ がシグマ有限測度に支配され、 $T:(\mathcal X,\mathcal A)\to(\mathcal Y,\mathcal B)$ が十分であるとする。実数値可測関数 $u$ がすべての $\theta\in\Theta$ について $E_\theta|u|<\infty$ を満たすならば、有限値 $\mathcal B$ 可測関数 $a_u$ が存在し、すべての $\theta\in\Theta$ について

a_u(T)=E_\theta[u\mid\sigma(T)]\qquad P_\theta\text{-ほとんど確実に}

が成り立つ。

証明.補題 2.1の母数列 $(\theta_k)_{k\in\NN}$ を取り、

b_k=\frac{2^{-k}}{1+E_{\theta_k}|u|},\qquad c=\sum_{k=1}^{\infty}b_k,\qquad w_k=\frac{b_k}{c}

と置く。 $0<c\leq1$ であり、 $w_k>0$ 、 $\sum_kw_k=1$ である。 $Q=\sum_kw_kP_{\theta_k}$ は全族を支配し、

E_Q|u|=\sum_kw_kE_{\theta_k}|u|\leq\frac1c<\infty

を満たす。 $\mathcal G=\sigma(T)$ と置き、 $E_Q[u\mid\mathcal G]$ の有限値可測版を補題 1.2により $a_u(T)$ と表示する。

各 $\theta$ に対し、定理 3.1 (2)により $r_\theta=dP_\theta/dQ$ の有限値非負 $\mathcal G$ 可測版を取る。 $u\in L^1(Q)$ であり、 $E_Q[|r_\theta u|]=E_\theta|u|<\infty$ である。したがって§E11.11 定理 2.3 (2)により、 $r_\theta a_u(T)$ は $Q$ 可積分であり、

E_Q[r_\theta u\mid\mathcal G]=r_\theta a_u(T)

となる。ゆえに $a_u(T)\in L^1(P_\theta)$ であり、任意の $B\in\mathcal G$ に対して

\int_Ba_u(T)\,dP_\theta =\int_Br_\theta a_u(T)\,dQ =\int_Br_\theta u\,dQ =\int_Bu\,dP_\theta

である。同じ関数 $a_u$ が、すべての $\theta$ について条件付き期待値の定義を満たす。▨

4 一径数指数型分布族

定義 4.1 (一径数指数型分布族). $(\mathcal X,\mathcal A,\mu)$ をシグマ有限測度空間、 $t:\mathcal X\to\R$ を可測関数、 $h:\mathcal X\to[0,\infty)$ を可測関数とし、 $\mu(\{h>0\})>0$ とする。

Z(\eta)=\int_{\mathcal X}e^{\eta t(x)}h(x)\,d\mu(x),\qquad H=\{\eta\in\R:0<Z(\eta)<\infty\}

と置き、 $H\ne\varnothing$ とする。 $A(\eta)=\log Z(\eta)$ と定める。非空な集合 $J\subseteq H$ に対して、密度

p_\eta(x)=h(x)\exp\{\eta t(x)-A(\eta)\},\qquad\eta\in J

で定まる確率測度族を、一径数の指数型分布族 (exponential family) という。 $\eta$ を自然母数 (natural parameter)、 $H$ を自然母数空間、 $A$ を対数分配関数 (log-partition function) という。統計量 $t$ は自然十分統計量 (natural sufficient statistic) と呼ばれる。母数 $\theta$ を用いて表示する場合には、 $\eta=\eta(\theta)\in J$ として $p_\theta=h\exp\{\eta(\theta)t-A(\eta(\theta))\}$ と書く。

命題 4.2. $\mu$ に関する密度 $p_\eta=h\exp\{\eta t-A(\eta)\}$ 、 $\eta\in J$ をもつ一径数指数型分布族 $(P_\eta)_{\eta\in J}$ と $n\in\NN$ に対して、積モデル $(P_\eta^{\otimes n})_{\eta\in J}$ を考える。標本和

T_n(x_1,\ldots,x_n)=\sum_{i=1}^nt(x_i)

は十分である。さらに、 $\R$ 上のシグマ有限測度

\nu_n(B)=\int_{\mathcal X^n}\mathbf1_{\{T_n(x)\in B\}}\prod_{i=1}^nh(x_i)\,d\mu^{\otimes n}(x) \qquad(B\in\mathcal B(\R))

に関して、 $T_n$ の分布の密度は $\exp\{\eta s-nA(\eta)\}$ である。

証明. 積測度の存在と一意性§E9.10 定理 5.1を反復して $\mu^{\otimes n}$ と $P_\eta^{\otimes n}$ を取る。非負可測関数 $\prod_i p_\eta(x_i)$ を密度とする測度は、Tonelli の定理§E9.11 定理 2.3により、任意の可測長方形 $B_1\times\cdots\times B_n$ に対して値 $\prod_iP_\eta(B_i)$ をもつ。積測度の一意性を反復すると、この測度は $P_\eta^{\otimes n}$ である。したがって積モデルの密度は

\prod_{i=1}^np_\eta(x_i) =\left(\prod_{i=1}^nh(x_i)\right)\exp\{\eta T_n(x)-nA(\eta)\}

となる。定理 3.1により $T_n$ は十分である。

$\nu_n$ は測度 $(\prod_i h)\,d\mu^{\otimes n}$ の $T_n$ による像測度である。その定義の積分等式を指示関数から単関数を経て非負可測関数へ単調収束で拡張すると、

P_\eta^{\otimes n}(T_n\in B) =\int_B e^{\eta s-nA(\eta)}\,d\nu_n(s)

を得る。 $\eta_0\in J$ を一つ固定すると、各 $m\in\NN$ について

\nu_n([-m,m]) \leq e^{|\eta_0|m}\int_{\R}e^{\eta_0s}\,d\nu_n(s) =e^{|\eta_0|m+nA(\eta_0)}<\infty

である。よって $\nu_n$ はシグマ有限である。▨

例 4.3. $n\in\NN$ とし、 $X_1,\ldots,X_n$ を母数 $\lambda>0$ の Poisson 分布からの独立同分布標本とする。一標本の数え上げ測度に関する密度は

p_\lambda(x)=\frac{\lambda^xe^{-\lambda}}{x!} =\frac1{x!}\exp\{(\log\lambda)x-\lambda\},\qquad x\in\N

である。したがって $\eta=\log\lambda$ 、 $t(x)=x$ 、 $h(x)=1/x!$ 、 $A(\eta)=e^\eta$ とした一径数指数型分布族である。標本全体の密度は

p_\lambda^{(n)}(x_1,\ldots,x_n) =\frac{e^{-n\lambda}\lambda^{\sum_i x_i}}{\prod_i x_i!}

であるから、命題 4.2により $S=\sum_iX_i$ は十分である。 $S$ と $S/n$ は互いに可測な関数として回収されるため、 $\sigma(S)=\sigma(S/n)$ である。 $S$ の共通条件付き平均 $a_u(S)$ を $a_u(n(S/n))$ と書けば、標本平均 $S/n$ も十分であることが分かる。

5 最小十分統計量

定義 5.1 (最小十分統計量). $(\mathcal X,\mathcal A)$ 上の非空な確率測度族 $(P_\theta)_{\theta\in\Theta}$ に対して、実ベクトル値統計量 $T:\mathcal X\to\R^d$ 、 $d\in\NN$ が十分であるとする。任意の可測空間 $(\mathcal Y,\mathcal B)$ と任意の十分統計量 $S:(\mathcal X,\mathcal A)\to(\mathcal Y,\mathcal B)$ に対して、可測写像 $F:\mathcal Y\to\R^d$ が存在し、すべての $\theta\in\Theta$ について

T=F(S)\qquad P_\theta\text{-ほとんど確実に}

が成り立つとき、 $T$ を最小十分統計量 (minimal sufficient statistic) という。写像 $F$ は母数 $\theta$ に依存しない。

命題 5.2. $(\mathcal X,\mathcal A)$ 上の非空な確率測度族 $(P_\theta)_{\theta\in\Theta}$ がシグマ有限測度に支配されているとする。 $Q$ を、全族を支配する族内の確率測度の可算正重み混合とし、 $T:\mathcal X\to\R^d$ を十分統計量とする。有限または可算な非空添字集合 $I$ 、母数の族 $(\gamma_j)_{j\in I}$ 、および積 Borel 構造に関する可測写像 $F:[0,\infty)^I\to\R^d$ が存在して、有限値非負密度 $r_j=dP_{\gamma_j}/dQ$ のある版について

T=F((r_j)_{j\in I})\qquad Q\text{-ほとんど確実に}

が成り立つならば、 $T$ は最小十分である。また、全族を支配する族内の一つの確率測度 $P_{\theta_0}$ がある場合には、 $Q=P_{\theta_0}$ として同じ判定が成り立つ。

証明. 任意の十分統計量 $S:(\mathcal X,\mathcal A)\to(\mathcal Y,\mathcal B)$ を取る。定理 3.1 (2)により、各 $j\in I$ の $r_j$ は $\sigma(S)$ 可測な有限値非負版をもつ。補題 1.2により、その版を $a_j(S)$ と表示し、 $a_j$ を非負部分で置き換える。 $I$ は高々可算であるから、 $Q$ の一つの零集合を除けば、すべての $j\in I$ について $r_j=a_j(S)$ が同時に成り立つ。各成分 $a_j$ は可測であり、積シグマ加法族は座標の逆像で生成されるから、 $a:\mathcal Y\to[0,\infty)^I$ 、 $a(y)=(a_j(y))_{j\in I}$ は可測である。したがって $F\circ a$ は可測であり、 $T=(F\circ a)(S)$ が $Q$ -ほとんど確実に成り立つ。全 $P_\theta$ が $Q$ に支配されるので、同じ等式がすべての $\theta$ について $P_\theta$ -ほとんど確実に成り立つ。よって $T$ は最小十分である。

$P_{\theta_0}$ が全族を支配する場合は、母数列をすべて $\theta_0$ とした可算正重み混合が $P_{\theta_0}$ に等しいため、前段を適用することができる。▨

系 5.3. 一径数指数型分布族 $p_\eta=h\exp\{\eta t-A(\eta)\}$ の自然母数の集合 $J$ が、相異なる二点 $\eta_0,\eta_1$ を含むとする。任意の $n\in\NN$ に対して、 $T_n=\sum_{i=1}^nt(X_i)$ は積モデル $(P_\eta^{\otimes n})_{\eta\in J}$ の最小十分統計量である。

証明.命題 4.2により $T_n$ は十分である。各 $P_\eta^{\otimes n}$ の密度が正である集合は、母数によらず $\{x:\prod_i h(x_i)>0\}$ である。したがって $P_{\eta_0}^{\otimes n}$ はすべての $P_\eta^{\otimes n}$ を支配する。この集合上では

\log\frac{dP_{\eta_1}^{\otimes n}}{dP_{\eta_0}^{\otimes n}} =(\eta_1-\eta_0)T_n-n\{A(\eta_1)-A(\eta_0)\}

であるから、

T_n=\frac{\log(dP_{\eta_1}^{\otimes n}/dP_{\eta_0}^{\otimes n})+n\{A(\eta_1)-A(\eta_0)\}}{\eta_1-\eta_0} \qquad P_{\eta_0}^{\otimes n}\text{-ほとんど確実に}

となる。右辺を密度比が0となる点では0と定めれば、密度比の可測関数である。命題 5.2により $T_n$ は最小十分である。▨

例 5.4. $\sigma^2>0$ を固定し、 $X_1,\ldots,X_n$ を $N(m,\sigma^2)$ からの独立同分布標本とする。母数は $m\in\R$ である。一標本の Lebesgue 密度は

p_m(x)=\frac1{\sqrt{2\pi\sigma^2}}e^{-x^2/(2\sigma^2)} \exp\left\{\frac{m}{\sigma^2}x-\frac{m^2}{2\sigma^2}\right\}

である。したがって $t(x)=x$ 、 $\eta=m/\sigma^2$ 、 $A(\eta)=\sigma^2\eta^2/2$ とした一径数指数型分布族であり、 $\eta$ は $\R$ 全体を動く。系 5.3により $\sum_iX_i$ は最小十分である。標本平均 $\overline X=n^{-1}\sum_iX_i$ も最小十分である。実際、和と平均は互いに可測な関数として回収され、生成するシグマ加法族も等しいので、十分性と最小十分性の両定義を満たす。

例 5.5.例 1.3の Bernoulli 標本では、数え上げ測度に対し

p_p(x)=\exp\left\{x\log\frac p{1-p}+\log(1-p)\right\},\qquad x\in\{0,1\}

である。 $\eta=\log(p/(1-p))$ と置けば $A(\eta)=\log(1+e^\eta)$ 、 $t(x)=x$ であり、自然母数は $\R$ 全体を動く。したがって系 5.3により標本和は最小十分である。

例 5.6. $n\in\NN$ とし、 $X_1,\ldots,X_n$ を $\theta>0$ を母数とする一様分布 $\operatorname{Unif}(0,\theta)$ からの独立同分布標本とする。標本空間を $(0,\infty)^n$ とすると、標本の Lebesgue 密度は

p_\theta(x)=\theta^{-n}\mathbf1_{\{M(x)<\theta\}},\qquad M(x)=\max_i x_i

である。定理 3.1により $M$ は十分である。

正の有理数を $(a_j)_{j\in\NN}$ と並べ、 $Q=\sum_j2^{-j}P_{a_j}^{\otimes n}$ と置く。その密度

q(x)=\sum_j2^{-j}a_j^{-n}\mathbf1_{\{M(x)<a_j\}}

は、すべての $x\in(0,\infty)^n$ に対して $0<q(x)\leq M(x)^{-n}<\infty$ を満たす。よって $Q$ は全族を支配し、 $r_j=p_{a_j}/q$ は

r_j(x)>0\quad\Longleftrightarrow\quad M(x)<a_j

を満たす。正の有理数の稠密性から

M(x)=\inf\{a_j:r_j(x)>0\}

である。この下限を与える写像 $L:[0,\infty)^{\NN}\to[0,\infty]$ は、空集合の下限を $\infty$ とすれば、任意の $c>0$ に対して

\{L<c\}=\bigcup_{j:\,a_j<c}\{z:z_j>0\}

を満たすため可測である。 $L=\infty$ の点で0へ補正して得た有限値可測写像を $F$ とすると、 $M=F((r_j)_j)$ である。命題 5.2により $M$ は最小十分である。この族では、一つの $P_{\theta_0}^{\otimes n}$ が全族を支配することはない。 $\theta>\theta_0$ ならば $P_\theta^{\otimes n}(M>\theta_0)>0$ である一方、 $P_{\theta_0}^{\otimes n}(M>\theta_0)=0$ だからである。

命題 5.7. $\mu$ に関する一径数指数型分布族 $p_\eta=h\exp\{\eta t-A(\eta)\}$ の自然母数空間を $H$ とし、 $\eta\in H$ 全体に族を定める。任意の $\eta\in\tpint{H}$ と任意の $k\in\N$ に対して $E_\eta|t|^k<\infty$ である。有界実数値可測関数 $b:\mathcal X\to\R$ に対して

F_b(\eta)=\int_{\mathcal X}b(x)e^{\eta t(x)}h(x)\,d\mu(x)

と置くと、 $F_b$ は $\tpint{H}$ で微分可能であり、

F_b'(\eta)=\int_{\mathcal X}b(x)t(x)e^{\eta t(x)}h(x)\,d\mu(x)

が成り立つ。特に、 $A'(\eta)=E_\eta t$ である。

証明. $\eta_0\in\tpint{H}$ を固定し、 $\eta_0-2\varepsilon,\eta_0+2\varepsilon\in H$ となる $\varepsilon>0$ を取る。各 $k\in\N$ に対し、ある定数 $C_{k,\varepsilon}<\infty$ が存在して、 $s\in\R$ について

|s|^k\leq C_{k,\varepsilon}e^{\varepsilon|s|}

が成り立つ。実際、 $r\geq0$ に対する $r^ke^{-\varepsilon r}$ は、 $k=0$ なら1以下であり、 $k\geq1$ なら微分により $r=k/\varepsilon$ で最大となる。したがって $|\eta-\eta_0|\leq\varepsilon$ ならば

|t|^ke^{\eta t}h \leq C_{k,\varepsilon}\left(e^{(\eta_0-2\varepsilon)t}+e^{(\eta_0+2\varepsilon)t}\right)h

であり、右辺は可積分である。 $\eta=\eta_0$ として $Z(\eta_0)$ で割ると、 $E_{\eta_0}|t|^k<\infty$ を得る。

$0<|a|<\varepsilon$ に対し、実指数関数の平均値の定理から

\left|\frac{e^{(\eta_0+a)t}-e^{\eta_0t}}a\right| \leq |t|e^{\eta_0t+\varepsilon|t|}

である。この式へ $|b|h$ を掛けた関数は、上の $k=1$ の評価と $b$ の有界性により、一つの可積分関数で支配される。差商は各 $x$ で $b(x)t(x)e^{\eta_0t(x)}h(x)$ へ収束するので、優収束定理§E9.7 定理 3.2により

F_b'(\eta_0)=\int bte^{\eta_0t}h\,d\mu

となる。 $b=1$ とすれば $Z'(\eta_0)=\int te^{\eta_0t}h\,d\mu$ であり、 $Z(\eta_0)>0$ から

A'(\eta_0)=\frac{Z'(\eta_0)}{Z(\eta_0)}=E_{\eta_0}t

を得る。▨

注意 5.8. 尤度比を用いて標本点を同値類に分けたとき、同値類上に関数を定めることと、その関数が可測であることは別の条件である。命題 5.2は、可算個の尤度比から統計量を回収する写像の可測性を仮定している。一般の支配されたモデルにおける最小十分統計量の存在と、尤度比による同値類の可測性は後の単元で扱う。

十分性によって得られる共通の条件付き平均を不偏推定に用いるときには、統計量の関数の一意性が問題となる。すべての母数で可積分な任意の可測関数 $g(T)$ について、すべての $\theta$ で $E_\theta g(T)=0$ ならば、すべての $\theta$ で $g(T)=0$ が $P_\theta$ -ほとんど確実に成り立つという性質を、完備性という。自然母数の集合が開区間を含む一径数指数型分布族の完備性と、不偏推定の一意性への適用は「完備性と Lehmann–Scheffé の定理」で扱う。

6 演習

問題 6.1. $n\geq2$ とし、 $X_1,\ldots,X_n$ を成功確率 $p\in(0,1)$ の Bernoulli 分布からの独立同分布標本とする。統計量 $X_1$ がこの標本分布族に対して十分でないことを、 $u=X_2$ に対する共通の条件付き期待値が存在しないことから示せ。

解答.

§E11.11 命題 3.3を $X_2$ と $\sigma(X_1)$ に適用すると、各 $p\in(0,1)$ について

E_p[X_2\mid\sigma(X_1)]=E_pX_2=p

が $P_p$ -ほとんど確実に成り立つ。 $X_1$ が十分であると仮定すると、十分性の定義により、 $p$ に依存しない関数 $a:\{0,1\}\to\R$ が存在して

a(X_1)=p\qquad P_p\text{-ほとんど確実に}

がすべての $p\in(0,1)$ について成り立つ。ところが $P_p(X_1=0)=1-p>0$ かつ $P_p(X_1=1)=p>0$ であるから、この等式は $a(0)=a(1)=p$ を意味する。相異なる $p,q\in(0,1)$ に対して同じ関数 $a$ が $a(0)=p$ と $a(0)=q$ を満たすことはない。したがって、 $X_1$ は十分でない。▨

問題 6.2.補題 1.2の証明を完成させよ。

解答.

$\{T^{-1}(B):B\in\mathcal B\}$ は、逆像が補集合と可算和を保つことからシグマ加法族であり、 $\sigma(T)$ に等しい。非負拡張実数値の $Z$ に対し、§E9.5 定理 5.3により、 $\sigma(T)$ 可測な非負単関数列 $Z_n$ を $Z_n\uparrow Z$ となるように取る。各 $n$ について、 $Z_n$ の値を $c_{n,1},\ldots,c_{n,k_n}$ とすると、ある $B_{n,j}\in\mathcal B$ が存在して

\{Z_n=c_{n,j}\}=T^{-1}(B_{n,j})

となる。 $g_n=\sum_{j=1}^{k_n}c_{n,j}\mathbf1_{B_{n,j}}$ と置けば、 $g_n$ は非負 $\mathcal B$ 可測関数であり、 $g_n(T)=Z_n$ である。 $g=\limsup_ng_n$ は $[0,\infty]$ 値の $\mathcal B$ 可測関数であり、

g(T(x))=\limsup_ng_n(T(x))=\lim_nZ_n(x)=Z(x)

がすべての $x\in\mathcal X$ で成り立つ。

$Z$ が有限値非負ならば、 $g=\infty$ となる点で $g$ を0に置き換える。この変更は可測性を保ち、 $g(T(x))=Z(x)<\infty$ であるため合成の値を変えない。実数値 $Z$ については有限値非負の $Z^+,Z^-$ にそれぞれ適用し、 $Z^+=g_+(T)$ 、 $Z^-=g_-(T)$ を得る。有限値可測関数 $g=g_+-g_-$ が求める表示を与える。▨

§E14.5十分統計量