最尤推定量の漸近理論 | 数理統計 I

1 局所正則性と観測情報

定義 1.1 (局所 Cramér 条件). $p\in\NN$ 、 $\Theta\subseteq\R^p$ を空でない開集合とし、可測空間 $(\mathcal X,\mathcal A)$ 上のシグマ有限測度 $\mu$ に関する密度族 $(p_\theta)_{\theta\in\Theta}$ を考える。共通の可測集合 $S$ 上で $0<p_\theta(x)<\infty$ 、 $S$ の外で $p_\theta(x)=0$ とする。 $\theta_0\in\Theta$ において次を満たすことを、 $\theta_0$ における局所 Cramér 条件 (local Cramér conditions) という。

ある $\rho_0>0$ について $\overline B(\theta_0,\rho_0)\subseteq\Theta$ であり、各 $x\in S$ に対して $\ell(x,\theta)=\log p_\theta(x)$ はこの閉球の開近傍で $C^3$ 級である。密度と各母数微分は観測 $x$ に関して可測な版を用いる。
$s(x)=\nabla_\theta\ell(x,\theta_0)$ は $E_{\theta_0}\|s(X)\|^2<\infty$ を満たし、 $I_0=E_{\theta_0}[s(X)s(X)^\top]$ は正定値である。各 $j,k$ に対して $\partial_{jk}\ell(X,\theta_0)$ は $P_{\theta_0}$ 可積分である。また、 $\partial_jp_{\theta_0}$ と $\partial_{jk}p_{\theta_0}$ は $\mu$ 可積分であり、真値において微分と積分を交換することができる。すなわち、 $\int_S\partial_jp_{\theta_0}\,d\mu =\left.\partial_j\int_Sp_\theta\,d\mu\right|_{\theta=\theta_0}=0, \qquad \int_S\partial_{jk}p_{\theta_0}\,d\mu =\left.\partial_{jk}\int_Sp_\theta\,d\mu\right|_{\theta=\theta_0}=0$ が成り立つ。
ある非負可測関数 $M$ が $E_{\theta_0}M(X)<\infty$ を満たし、すべての $x\in S$ 、 $\theta\in\overline B(\theta_0,\rho_0)$ と $j,k,l\in\{1,\ldots,p\}$ に対して $|\partial_{jkl}\ell(x,\theta)|\leq M(x)$ が成り立つ。

定義 1.2 (観測情報行列). $\Theta\subseteq\R^p$ を開集合とし、共通正台をもつ密度族 $p_\theta$ と標本 $X_1,\ldots,X_n$ を考える。対数密度が母数について二回微分可能な領域では、対数尤度、標本の score ベクトル、および1観測当たりの観測情報行列 (observed information matrix) をそれぞれ

\ell_n(\theta)=\sum_{i=1}^n\log p_\theta(X_i),\qquad U_n(\theta)=\nabla\ell_n(\theta),\qquad J_n(\theta)=-\frac1n\nabla^2\ell_n(\theta)

と定める。方程式 $U_n(\theta)=0$ を尤度方程式 (likelihood equation) という。

補題 1.3. 密度族 $(p_\theta)_{\theta\in\Theta}$ が $\theta_0$ における局所 Cramér 条件を満たし、 $X_1,X_2,\ldots$ が $P_{\theta_0}$ に従う独立同分布列であるとする。条件に現れる半径と優関数を $\rho_0,M$ とし、

\overline M_n=\frac1n\sum_{i=1}^nM(X_i),\qquad \Delta_n=\frac{U_n(\theta_0)}{\sqrt n}

とおく。行列のノルムには Euclid ノルムに関する作用素ノルムを用いる。このとき次が成り立つ。

$J_n(\theta_0)\xrightarrow{P}I_0$ 、 $\overline M_n\xrightarrow{P}E_{\theta_0}M(X)$ および $\Delta_n\Rightarrow N_p(0,I_0)$ である。
$\|h\|\leq\rho_0$ に対して $\|J_n(\theta_0+h)-I_0\|_{\mathrm{op}} \leq\|J_n(\theta_0)-I_0\|_{\mathrm{op}} +p^{3/2}\|h\|\overline M_n.$ 特に、ある $\rho\in(0,\rho_0]$ と定数 $0<c\leq C<\infty$ が存在して、 $P_{\theta_0}\bigl(cI_p\preceq J_n(t)\preceq CI_p \text{ がすべての }t\in\overline B(\theta_0,\rho)\text{ で成立する}\bigr) \longrightarrow1.$ ここで $I_p$ は単位行列であり、 $A\preceq B$ は $B-A$ が半正定値であることを表す。
$\Theta$ 値の可測な推定量 $T_n$ が $T_n\xrightarrow{P_{\theta_0}}\theta_0$ を満たすとする。このとき $\sup_{0\leq t\leq1} \|J_n(\theta_0+t(T_n-\theta_0))-I_0\|_{\mathrm{op}} \xrightarrow{P_{\theta_0}}0.$ $T_n$ が $\overline B(\theta_0,\rho_0)$ の外にある標本では、表示式の確率変数を $0$ と定める。特に $J_n(T_n)\xrightarrow{P_{\theta_0}}I_0$ であり、局所領域の外では $J_n(T_n)$ を任意の固定行列に補完してよい。

証明. 各 Hessian 成分に線分上の微積分の基本定理を適用する。 $\|h\|\leq\rho_0$ のとき、

|\partial_{jk}\ell(x,\theta_0+h)-\partial_{jk}\ell(x,\theta_0)| \leq\sum_{l=1}^p|h_l|M(x) \leq\sqrt p\|h\|M(x).

標本平均を取り、行列の作用素ノルムが各成分の絶対値の最大値の $p$ 倍以下であることを用いると、(2)の不等式を得る。

score の平均と情報等式§E14.12 命題 1.2、§E14.12 命題 1.4の積分計算は、真値における交換条件から

E_{\theta_0}s_j(X)=\int_S\partial_jp_{\theta_0}\,d\mu=0, \qquad E_{\theta_0}\partial_{jk}\ell(X,\theta_0) =\int_S\partial_{jk}p_{\theta_0}\,d\mu-(I_0)_{jk} =-(I_0)_{jk}

を与える。Hessian の各成分と $M(X_i)$ に弱大数の法則§E14.2 定理 4.1を、 $s(X_i)$ に多変量中心極限定理§E11.17 定理 4.3を適用すると、(1)が従う。

単位球面のコンパクト性§E2.9 定理 4.3と極値定理§E4.1 定理 5.1により、

\lambda=\min_{\|v\|=1}v^\top I_0v>0

である。 $b=E_{\theta_0}M(X)+1$ とおき、 $p^{3/2}\rho b\leq\lambda/4$ となる $\rho\in(0,\rho_0]$ を取る。事象

\|J_n(\theta_0)-I_0\|_{\mathrm{op}}<\lambda/4,\qquad \overline M_n\leq b

の確率は1へ収束する。この事象上で、半径 $\rho$ の閉球のすべての点において

\frac\lambda2I_p\preceq J_n(t) \preceq\left(\|I_0\|_{\mathrm{op}}+\frac\lambda2\right)I_p

である。これで(2)の後半も得られた。

$T_n$ が半径 $\rho_0$ の閉球に入る事象上では、(2)の不等式によって、(3)の上限は

\|J_n(\theta_0)-I_0\|_{\mathrm{op}} +p^{3/2}\|T_n-\theta_0\|\overline M_n

以下である。任意の $\varepsilon>0$ と $K>0$ に対して

P_{\theta_0}(\|T_n-\theta_0\|\overline M_n>\varepsilon) \leq P_{\theta_0}(\overline M_n>K) +P_{\theta_0}(\|T_n-\theta_0\|>\varepsilon/K).

先に $K>E_{\theta_0}M(X)$ を固定して $n\to\infty$ とすると右辺は $0$ へ収束する。閉球の外に出る確率も $0$ へ収束するから、結論を得る。▨

2 尤度方程式の一致解

命題 2.1. 密度族が $\theta_0$ における局所 Cramér 条件を満たし、標本が $P_{\theta_0}$ に従う独立同分布列であるとする。このとき、ある $\rho>0$ が存在し、任意の固定した $\varepsilon\in(0,\rho]$ に対して

P_{\theta_0}\left( \sup_{\|h\|=\varepsilon}\ell_n(\theta_0+h)<\ell_n(\theta_0) \right)\longrightarrow1.

さらに、確率が1へ収束する事象上で、 $\overline B(\theta_0,\varepsilon)$ 上の対数尤度は唯一の最大点をもち、その点は開球内にあって尤度方程式を満たす。この閉球内にほかの尤度方程式解は存在しない。

証明.補題 1.3 (2)の $\rho,c$ を取り、 $\varepsilon\in(0,\rho]$ を固定する。閉球で $J_n\succeq cI_p$ となる事象上で、Taylor の積分剰余公式§E4.5 定理 1.1により

\frac{\ell_n(\theta_0+h)-\ell_n(\theta_0)}n =\frac{U_n(\theta_0)^\top h}n -\int_0^1(1-t)h^\top J_n(\theta_0+th)h\,dt \leq\left\|\frac{U_n(\theta_0)}n\right\|\varepsilon -\frac c2\varepsilon^2

が球面上で成り立つ。補題 1.3 (1)から $U_n(\theta_0)/n\xrightarrow{P}0$ であるため、最後の式は確率が1へ収束する事象上で負になる。

連続な対数尤度はコンパクトな閉球上で最大値を取る。球面の不等式によって最大点は内点にあるため、各座標方向の微分は $0$ である。また、 $J_n\succeq cI_p$ ならば対数尤度は閉球上で強凹であり、最大点は一意である。実際、相異なる2点を結ぶ線分上では二階微分が負である。二つの score 根 $z,w$ が閉球にあれば、

0=(z-w)^\top\{U_n(z)-U_n(w)\} =-n\int_0^1(z-w)^\top J_n(w+t(z-w))(z-w)\,dt \leq-nc\|z-w\|^2

となり、 $z=w$ である。▨

補題 2.2. $\Theta\subseteq\R^p$ を空でない開集合とし、 $(P_\theta)_{\theta\in\Theta}$ を可測空間 $(\mathcal X,\mathcal A)$ 上の同じシグマ有限測度 $\mu$ に支配された確率測度族とする。モデルが識別可能、すなわち $P_\theta=P_\eta$ ならば $\theta=\eta$ であり、密度への写像 $\theta\mapsto p_\theta$ が $L^1(\mu)$ で連続であると仮定する。このとき、モデルだけから定まる可測写像列 $T_n:\mathcal X^n\to\Theta$ が存在し、各固定 $\theta\in\Theta$ と $P_\theta$ に従う独立同分布標本に対して

T_n(X_1,\ldots,X_n)\xrightarrow{P_\theta}\theta

が成り立つ。

証明. 証明は演習とする（問題 5.1）。▨

定理 2.3. $\Theta\subseteq\R^p$ を空でない開集合とし、 $(P_\theta)_{\theta\in\Theta}$ を同じシグマ有限測度に関する共通正台 $S$ をもつ識別可能な密度族とする。各 $x\in S$ に対して $\theta\mapsto\log p_\theta(x)$ が $\Theta$ 全体で $C^3$ 級であり、各 $\theta\in\Theta$ において局所 Cramér 条件が成り立つと仮定する。このとき、未知の母数によらない単一の可測写像列 $\widehat\theta_n:\mathcal X^n\to\Theta$ が存在し、各固定 $\theta\in\Theta$ と $P_\theta$ に従う独立同分布標本に対して

\widehat\theta_n\xrightarrow{P_\theta}\theta,\qquad P_\theta\bigl(U_n(\widehat\theta_n)=0\bigr)\longrightarrow1

を満たす。

証明. $\theta_j\to\theta$ に対して密度は $S$ 上で点ごとに収束し、 $S$ の外では $0$ である。優収束定理§E9.7 定理 3.2を $\min(p_{\theta_j},p_\theta)\leq p_\theta$ に適用すると、

\|p_{\theta_j}-p_\theta\|_1 =2-2\int\min(p_{\theta_j},p_\theta)\,d\mu\longrightarrow0.

したがって補題 2.2による一致推定量列 $T_n$ を一つ固定する。

有理中心 $a\in\Q^p$ と正の有理半径 $r$ で $K=\overline B(a,r)\subseteq\Theta$ となる閉球、および $m\in\NN$ の組を一列に並べる。標本が $S^n$ に属するとき、組 $(K,m)$ が次の三条件を満たすことを考える。

T_n\in B(a,r/2),\qquad J_n(t)\succeq m^{-1}I_p\quad(t\in K),\qquad \sup_{t\in\partial K}\ell_n(t)<\ell_n(a).

これらを満たす事象は可測である。Hessian 条件は、 $K$ の固定した可算稠密集合と $v\in\Q^p$ に対する不等式 $v^\top J_n(t)v\geq m^{-1}\|v\|^2$ の可算個の共通部分で表される。境界の上限は境界の固定した可算稠密集合上で取ってよい。両者には母数についての連続性を用いた。

この三条件の下では、極値定理と強凹性から $\ell_n|_K$ は唯一の最大点 $z_n$ をもつ。境界の不等式により $z_n$ は内点であり、 $U_n(z_n)=0$ である。この点は標本の可測関数である。実際、 $K$ の固定した可算稠密列 $(q_j)$ を取り、 $b_n=\sup_j\ell_n(q_j)$ とおく。各 $k\in\NN$ について $\ell_n(q_j)>b_n-1/k$ を満たす最初の $q_j$ を $z_{n,k}$ とする。各 $z_{n,k}$ は可測であり、Taylor の公式と $U_n(z_n)=0$ から

\frac{n}{2m}\|z_{n,k}-z_n\|^2 \leq\ell_n(z_n)-\ell_n(z_{n,k})<1/k.

よって $z_{n,k}\to z_n$ であり、 $z_n$ は可測である。三条件を満たさない標本では各選択を固定点 $\theta_*\in\Theta$ に補完すれば、全標本上の可測写像になる。

三条件を満たす最初の組の最大点を $\widehat\theta_n$ と定め、該当する組がない場合と標本が $S^n$ の外にある場合には $\widehat\theta_n=\theta_*$ とする。この選択も可算個の可測な場合分けで定まり、定義に未知母数は含まれない。

$\theta_0\in\Theta$ を固定する。補題 1.3 (2)の閉球 $\overline B(\theta_0,\rho)$ と定数 $c,C$ を取る。有理数 $r\in(0,\rho/2)$ と有理中心 $a$ を

d:=\|a-\theta_0\|<\min\left\{\frac r4, r\sqrt{\frac{c}{16C}}\right\}

となるように固定し、 $m^{-1}<c$ となる $m\in\NN$ を取る。この組の添字を $j_0$ とする。 $K\subseteq B(\theta_0,\rho)$ であり、 $\theta_0\in B(a,r/2)$ である。 $cI_p\preceq J_n\preceq CI_p$ が半径 $\rho$ の閉球上で成り立つ事象上では、 $s_n=U_n(\theta_0)/n$ として、各 $t\in\partial K$ に対する Taylor 評価から

\frac{\ell_n(t)-\ell_n(a)}n \leq\|s_n\|(r+2d)-\frac c2(r-d)^2+\frac C2d^2.

右辺の定数部分は $-9cr^2/32+cr^2/32=-cr^2/4$ 以下である。 $s_n\xrightarrow{P_{\theta_0}}0$ および $T_n\xrightarrow{P_{\theta_0}}\theta_0$ から、組 $j_0$ は確率が1へ収束する事象上で三条件を満たす。したがって、選ばれる添字は確率が1へ収束する事象上で $j_0$ 以下になる。

添字が $j_0$ 以下の有限個の組のうち、 $\theta_0\notin\overline B(a,r/2)$ であるものについては、 $T_n\in B(a,r/2)$ となる確率が $0$ へ収束する。残る組では $\theta_0$ は $K$ の内点である。その組が選ばれた標本では、 $h=\widehat\theta_n-\theta_0$ とおくと

s_n=\int_0^1J_n(\theta_0+th)h\,dt,\qquad m^{-1}\|h\|^2\leq h^\top s_n\leq\|h\|\|s_n\|.

よって $\|\widehat\theta_n-\theta_0\|\leq m\|s_n\|$ である。有限個の組に現れる $m$ の最大値を用いれば、一致性が従う。選ばれた最大点は score 根であり、組が選ばれる確率は1へ収束するから、尤度方程式についての結論も成り立つ。▨

例 2.4. $X_i$ が成功確率 $\theta\in(0,1)$ の Bernoulli 分布に従うとき、

U_n(t)=\frac{\sum_iX_i-nt}{t(1-t)}.

$0<\sum_iX_i<n$ のときの唯一の根は標本平均である。一方、全観測が成功ならば $U_n(t)=n/t>0$ であり、全観測が失敗ならば $U_n(t)=-n/(1-t)<0$ である。これらの標本では開母数空間に根がなく、大域最大点も存在しない。例外事象の確率は $\theta^n+(1-\theta)^n\to0$ である。したがって、全標本で根となることを要求すると、正則なモデルでも存在の結論は成立しない。

3 漸近線形表示と二次展開

定理 3.1. 密度族が固定した $\theta_0$ における局所 Cramér 条件を満たし、標本が $P_{\theta_0}$ に従う独立同分布列であるとする。 $\Theta$ 値の可測推定量列 $\widehat\theta_n$ が一致し、確率が1へ収束する事象上で局所領域に属して $U_n(\widehat\theta_n)=0$ を満たすと仮定する。 $\Delta_n=U_n(\theta_0)/\sqrt n$ とおくと、

\sqrt n(\widehat\theta_n-\theta_0) =I_0^{-1}\Delta_n+o_{P_{\theta_0}}(1),\qquad \sqrt n(\widehat\theta_n-\theta_0) \Rightarrow N_p(0,I_0^{-1}).

ここで $o_{P_{\theta_0}}(1)$ はノルムが $0$ へ確率収束する確率ベクトルを表す。この結論は任意の一致する尤度方程式解の列に成り立つ。

証明. $h_n=\widehat\theta_n-\theta_0$ とおく。 $\widehat\theta_n$ が局所閉球に属し、尤度方程式を満たす事象上では、score の線分積分によって

0=U_n(\widehat\theta_n) =U_n(\theta_0)-nA_nh_n,\qquad A_n=\int_0^1J_n(\theta_0+th_n)\,dt

である。局所閉球の外では $A_n=I_0$ と定める。補題 1.3 (3)により $A_n\xrightarrow{P_{\theta_0}}I_0$ である。

$\|I_p-I_0^{-1}A_n\|_{\mathrm{op}}<1/2$ となる確率は1へ収束する。摂動可逆性§E4.7 補題 1.1によって、この事象上で $A_n$ は可逆であり、 $\|A_n^{-1}\|_{\mathrm{op}}\leq2\|I_0^{-1}\|_{\mathrm{op}}$ である。

A_n^{-1}-I_0^{-1}=A_n^{-1}(I_0-A_n)I_0^{-1}

から、例外事象上で $A_n^{-1}$ を $I_0^{-1}$ に補完すれば $A_n^{-1}\xrightarrow{P_{\theta_0}}I_0^{-1}$ である。

確率が1へ収束する事象上で $\sqrt n h_n=A_n^{-1}\Delta_n$ である。補題 1.3 (1)と行列 Slutsky の定理§E11.17 系 5.5により、右辺は $N_p(0,I_0^{-1})$ に分布収束する。さらに、 $A_n^{-1}-I_0^{-1}\xrightarrow{P_{\theta_0}}0$ と $\Delta_n\Rightarrow N_p(0,I_0)$ に行列 Slutsky の定理を適用すると、 $(A_n^{-1}-I_0^{-1})\Delta_n\xrightarrow{P_{\theta_0}}0$ となる。等式が成立しない例外事象の確率も $0$ へ収束するため、線形表示と正規極限の両方を得る。▨

系 3.2. 固定した $\theta_0$ で局所 Cramér 条件を満たす独立同分布モデルにおいて、可測な大域最尤推定量列 $\widehat\theta_n$ が存在し、 $\widehat\theta_n\xrightarrow{P_{\theta_0}}\theta_0$ であるとする。このとき定理 3.1の線形表示と正規極限が成り立つ。

証明. 一致性によって、 $\widehat\theta_n$ は確率が1へ収束する事象上で、対数尤度が微分可能な局所開球に入る。大域最大点はその開球内でも最大点であるから各座標微分が $0$ であり、定理 3.1を適用することができる。▨

命題 3.3. 密度族が固定した $\theta_0$ における局所 Cramér 条件を満たし、標本が $P_{\theta_0}$ に従う独立同分布列であるとする。 $\Theta$ 値の可測推定量列 $T_n$ に対し、 $h_n=\sqrt n(T_n-\theta_0)$ が確率有界であると仮定する。このとき、 $\Delta_n=U_n(\theta_0)/\sqrt n$ として

J_n(T_n)\xrightarrow{P_{\theta_0}}I_0,\qquad \ell_n(T_n)-\ell_n(\theta_0) =\Delta_n^\top h_n-\frac12h_n^\top I_0h_n+o_{P_{\theta_0}}(1)

が成り立つ。局所領域の外では表示式の左辺を任意の固定値に補完してよい。

証明. $h_n$ の確率有界性から $T_n\xrightarrow{P_{\theta_0}}\theta_0$ である。したがって観測情報の結論は補題 1.3 (3)による。 $T_n$ が局所閉球に属する事象上で Taylor の積分剰余公式を用いると、

\ell_n(T_n)-\ell_n(\theta_0) =\Delta_n^\top h_n -\int_0^1(1-t)h_n^\top J_n(\theta_0+t(T_n-\theta_0))h_n\,dt.

積分と $h_n^\top I_0h_n/2$ の差の絶対値は

\frac12\|h_n\|^2 \sup_{0\leq t\leq1}\|J_n(\theta_0+t(T_n-\theta_0))-I_0\|_{\mathrm{op}}

以下である。上限は $0$ へ確率収束し、 $\|h_n\|^2$ は確率有界であるから、積は $0$ へ確率収束する。具体的には $\|h_n\|\leq K$ とその補事象に分け、先に $n\to\infty$ 、次に $K\to\infty$ とすればよい。▨

4 母数関数と漸近有効性

定理 4.1 (デルタ法). $p,k\in\NN$ とし、 $T_n$ を $\R^p$ 値の可測な確率ベクトル、 $a_n>0$ を $a_n\to\infty$ を満たす定数列とする。固定した $\theta_0\in\R^p$ と半正定値行列 $V$ に対して

a_n(T_n-\theta_0)\Rightarrow N_p(0,V)

であると仮定する。 $\theta_0$ の開近傍 $G$ 上の Borel 可測写像 $g:G\to\R^k$ が $\theta_0$ で全微分可能ならば、

a_n\{g(T_n)-g(\theta_0)\} \Rightarrow N_k\bigl(0,Dg(\theta_0)V Dg(\theta_0)^\top\bigr).

$T_n\notin G$ では $g(T_n)$ を固定値に補完する。 $Dg(\theta_0)$ の階数が小さい場合や $Dg(\theta_0)=0$ の場合も含む。

証明. $Z_n=a_n(T_n-\theta_0)$ とおく。§E11.17 補題 3.2から $Z_n$ は確率有界である。任意の $\delta>0$ について $P(\|T_n-\theta_0\|>\delta)=P(\|Z_n\|>a_n\delta)\to0$ であるから、 $T_n\xrightarrow{P}\theta_0$ である。

全微分可能性により、 $\theta_0+h\in G$ では

g(\theta_0+h)-g(\theta_0)=Dg(\theta_0)h+r(h),\qquad \frac{\|r(h)\|}{\|h\|}\longrightarrow0

であり、 $r(0)=0$ とする。 $\varepsilon,\eta>0$ を固定し、 $\sup_nP(\|Z_n\|>K)<\eta$ となる $K>0$ を取る。ある $\delta>0$ について、 $\|h\|\leq\delta$ ならば $\theta_0+h\in G$ かつ $\|r(h)\|\leq\varepsilon\|h\|/K$ である。したがって

P(a_n\|r(T_n-\theta_0)\|>\varepsilon) \leq P(\|Z_n\|>K)+P(\|T_n-\theta_0\|>\delta)

となり、 $n\to\infty$ の後に $\eta\downarrow0$ とすると剰余は $0$ へ確率収束する。局所領域の外の確率も $0$ へ収束する。行列 Slutsky の定理§E11.17 系 5.5を $Dg(\theta_0)Z_n+o_P(1)$ に適用すれば結論を得る。▨

定義 4.2 (漸近有効性). $\Theta\subseteq\R^p$ 上の独立同分布モデルにおいて、1観測当たりの Fisher 情報行列 $I(\theta_0)$ が正定値であるとする。可測な推定量列 $T_n$ が

\sqrt n(T_n-\theta_0)\Rightarrow N_p(0,I(\theta_0)^{-1})

を満たすとき、 $T_n$ は $\theta_0$ において漸近有効 (asymptotically efficient) であるという。すべての $\theta_0\in\Theta$ においてこの性質をもつとき、モデル上で漸近有効であるという。一般に $\sqrt n(T_n-\theta_0)\Rightarrow N_p(0,V)$ の極限共分散 $V$ をここでの漸近分散と呼ぶ。

系 4.3.定理 2.3のモデルでは、同定理が構成する尤度方程式解の列はモデル上で漸近有効である。固定した真値における定理 3.1の仮定の下では、任意の一致する尤度方程式解の列がその真値で漸近有効である。

証明. それぞれの固定した真値で定理 3.1を適用する。▨

命題 4.4.定理 3.1の仮定の下で、 $\widehat V_n=J_n(\widehat\theta_n)^{-1}$ とおく。観測情報が定義されないか正定値でない標本では $\widehat V_n=I_p$ と定める。このとき

\widehat V_n\xrightarrow{P_{\theta_0}}I_0^{-1},\qquad \frac{\widehat\theta_{n,j}-\theta_{0,j}} {\sqrt{(\widehat V_n)_{jj}/n}}\Rightarrow N(0,1) \quad(j=1,\ldots,p).

したがって $\sqrt{(\widehat V_n)_{jj}/n}$ は第 $j$ 座標の漸近標準誤差の一致する推定を与える。すなわち、この量と $\sqrt{(I_0^{-1})_{jj}/n}$ の比は $1$ へ確率収束する。さらに、 $I(\theta)$ が $\theta_0$ の近傍で有限かつ $\theta_0$ で連続であるならば、 $\widehat V_n$ を $I(\widehat\theta_n)^{-1}$ に置き換えても同じ結論が成り立つ。近傍の外または逆行列が存在しない標本では $I_p$ に補完する。

証明.補題 1.3 (3)によって $J_n(\widehat\theta_n)\xrightarrow{P_{\theta_0}}I_0$ である。正定値の下界と逆行列の摂動評価を定理 3.1の証明と同じ行列に適用すると、 $\widehat V_n\xrightarrow{P_{\theta_0}}I_0^{-1}$ である。正定値行列 $I_0^{-1}$ の対角成分は正なので、平方根の連続性から

\sqrt{(\widehat V_n)_{jj}/(I_0^{-1})_{jj}}\xrightarrow{P_{\theta_0}}1.

標準化された正規極限は定理 3.1と Slutsky の定理から従う。期待情報については、一致性と仮定した連続性から $I(\widehat\theta_n)\xrightarrow{P_{\theta_0}}I_0$ を得るので、同じ逆行列の評価と標準化を適用することができる。▨

注意 4.5. 一径数の場合、漸近標準誤差は $1/\sqrt{nI(\theta_0)}$ である。観測情報から得る漸近標準誤差の二乗の推定値は

\frac1{nJ_n(\widehat\theta_n)} =\frac1{-\ell_n''(\widehat\theta_n)}

であり、期待情報を用いる場合は $1/[nI(\widehat\theta_n)]$ である。いずれも命題 4.4の仮定と例外事象上の補完を伴う。

注意 4.6. 正規極限の共分散で定めた漸近分散は、有限標本の共分散についての $n\operatorname{Cov}_{\theta_0}(T_n)$ の極限を主張するものではない。分布収束だけから二次モーメントの収束は従わない。また、漸近有効性の定義は、すべての推定量列の漸近分散の中で逆 Fisher 情報が最小であるという主張を含まない。

例 4.7. $X_i\sim N_p(\theta,I_p)$ が独立同分布であり、 $\theta\in\R^p$ とする。対数尤度は定数項を除いて $-\sum_i\|X_i-\theta\|^2/2$ であるから、 $\widehat\theta_n=\overline X_n$ は唯一の大域最尤推定量であり、 $I(\theta)=I_p$ である。弱大数の法則を各成分へ適用すると一致性が従う。対数密度の三階微分は零であり、score は $X-\theta$ 、Hessian は $-I_p$ である。各固定 $K>0$ に対し、 $\|\theta\|\leq K$ における密度の一階・二階微分の絶対値は、ある定数 $C_K$ によって $C_K(1+\|x\|^2)e^{-\|x\|^2/4}$ 以下である。この評価は $\|x-\theta\|^2\geq\|x\|^2/2-\|\theta\|^2$ と密度の微分公式から従う。右辺は可積分なので微分積分交換が成立し、局所 Cramér 条件を満たす。したがって

\sqrt n(\overline X_n-\theta)\Rightarrow N_p(0,I_p).

$g(t)=\|t\|^2$ にデルタ法を適用すると

\sqrt n(\|\overline X_n\|^2-\|\theta\|^2) \Rightarrow N(0,4\|\theta\|^2).

$\theta=0$ では極限は原点に集中する確率分布である。

例 4.8 (Hodges の推定量). $X_i\sim N(\theta,1)$ が独立同分布であり、 $\theta\in\R$ とする。標本平均 $\overline X_n$ を用いて

H_n= \begin{cases} 0,&|\overline X_n|\leq n^{-1/4},\\ \overline X_n,&|\overline X_n|>n^{-1/4} \end{cases}

と定める。この可測な推定量列はすべての $\theta$ で一致し、

\sqrt n(H_n-\theta)\Rightarrow \begin{cases} N(0,0),&\theta=0,\\ N(0,1),&\theta\ne0 \end{cases}

を満たす。原点における漸近分散 $0$ は $I(0)^{-1}=1$ より小さい。このような点での現象を超有効性という。

証明. $\theta=0$ のとき、 $\sqrt n\overline X_n\Rightarrow N(0,1)$ であるから、この列は確率有界である。したがって

P_0(H_n\ne0) =P_0(|\sqrt n\overline X_n|>n^{1/4})\longrightarrow0.

任意の $\varepsilon>0$ に対して $P_0(|\sqrt n H_n|>\varepsilon)\leq P_0(H_n\ne0)$ なので、 $\sqrt nH_n\xrightarrow{P_0}0$ である。

固定した $\theta\ne0$ について、十分大きな $n$ では $n^{-1/4}<|\theta|/2$ である。標本平均の一致性によって

P_\theta(H_n\ne\overline X_n) \leq P_\theta(|\overline X_n|\leq n^{-1/4}) \leq P_\theta(|\overline X_n-\theta|\geq|\theta|/2) \longrightarrow0.

よって $\sqrt n(H_n-\theta)$ は、確率が1へ収束する事象上で $\sqrt n(\overline X_n-\theta)$ と等しい。標本平均の正規極限から結論が従い、 $H_n\xrightarrow{P_\theta}\theta$ も得られる。▨

5 演習

問題 5.1.補題 2.2の証明を完成させよ。

解答.

$\Theta$ の可算稠密列 $(q_j)$ を固定し、可測集合 $A_{jk}=\{x:p_{q_j}(x)>p_{q_k}(x)\}$ を一列に並べて $(A_m)$ と書く。この族はモデルを分離する。実際、 $\theta\ne\eta$ に対して $\delta=\|p_\theta-p_\eta\|_1>0$ とおく。 $L^1$ 連続性から

e:=\|p_{q_j}-p_\theta\|_1+\|p_{q_k}-p_\eta\|_1<\delta/6

となる $j,k$ を選ぶことができる。 $f=p_\theta-p_\eta$ 、 $g=p_{q_j}-p_{q_k}$ とすると、 $\int g\,d\mu=0$ であるから、

\int_{A_{jk}}f\,d\mu \geq\int_{A_{jk}}g\,d\mu-e =\frac12\|g\|_1-e \geq\frac\delta2-\frac{3e}2>\frac\delta4.

したがって $P_\theta(A_{jk})\ne P_\eta(A_{jk})$ である。

確率測度 $P,Q$ に対して

d(P,Q)=\sum_{m=1}^\infty2^{-m}|P(A_m)-Q(A_m)|

とおく。モデル上では $d$ は距離であり、 $d(P_\theta,P_\eta)\leq\|p_\theta-p_\eta\|_1$ なので $\theta\mapsto P_\theta$ は $d$ について連続である。経験測度 $P_n$ と $D_n(t)=d(P_n,P_t)$ を定める。各 $m$ の標本比率の分散は $1/(4n)$ 以下であるから、Cauchy–Schwarz の不等式と非負級数の単調収束定理から

E_\theta d(P_n,P_\theta) \leq\sum_{m=1}^\infty2^{-m}\frac1{2\sqrt n} =\frac1{2\sqrt n}.

$\varepsilon_n=n^{-1/4}$ とおくと Markov の不等式によって

P_\theta\{d(P_n,P_\theta)>\varepsilon_n\} \leq\frac1{2n^{1/4}}\longrightarrow0.

また、三角不等式からすべての $t\in\Theta$ に対して

|D_n(t)-d(P_\theta,P_t)|\leq d(P_n,P_\theta).

有理中心と正の有理半径をもち、半径を2倍にした閉球も $\Theta$ に含まれる閉球を一列に並べる。その最初の $j$ 個の和集合を $K_j$ とする。各 $K_j$ は非空コンパクトであり、 $K_j\subseteq K_{j+1}$ かつ $\bigcup_j\tpint K_j=\Theta$ である。各 $K_j$ に可算稠密列 $D_j=(t_{j,l})_{l\in\NN}$ を固定する。標本を固定したとき $D_n(t)$ は $t$ について連続なので、

v_{n,j}=\inf_lD_n(t_{j,l})=\min_{t\in K_j}D_n(t)

である。左辺は可算個の可測関数の下限であり、可測である。

$v_{n,j}<2\varepsilon_n$ となる最小の $j$ を選び、その $j$ について $D_n(t_{j,l})<v_{n,j}+\varepsilon_n$ となる最小の $l$ を選んで $T_n=t_{j,l}$ と定める。該当する $j$ がなければ固定した $\theta_*\in\Theta$ を用いる。下限の性質から $l$ は存在し、選択は可算個の可測な比較だけで定まる。

真値 $\theta$ を固定し、 $\theta\in K_J$ となる $J$ を取る。 $d(P_n,P_\theta)\leq\varepsilon_n$ の事象上では $v_{n,J}\leq\varepsilon_n$ であるから、選ばれた $j$ は $J$ 以下であり、

T_n\in K_J,\qquad D_n(T_n)<3\varepsilon_n,\qquad d(P_{T_n},P_\theta)<4\varepsilon_n.

任意の $\delta>0$ に対し、 $F=K_J\cap\{t:\|t-\theta\|\geq\delta\}$ はコンパクトである。 $F$ が空でなければ、連続関数 $t\mapsto d(P_t,P_\theta)$ は $F$ 上で正の最小値 $b_\delta$ をもつ。最小値が正であることにはモデルの識別可能性を用いた。十分大きな $n$ では $4\varepsilon_n<b_\delta$ であるため、上の事象上で $\|T_n-\theta\|<\delta$ となる。 $F$ が空ならこの結論は $T_n\in K_J$ だけから従う。よって $T_n\xrightarrow{P_\theta}\theta$ である。 $\theta,J,\delta$ は収束の検証だけに用いており、 $T_n$ の構成には現れない。▨

問題 5.2. 成功確率 $\theta\in(0,1)$ の独立同分布 Bernoulli 標本について、 $T_n=(1+\sum_{i=1}^nX_i)/(n+2)$ とおく。対数オッズの推定量 $\log\{T_n/(1-T_n)\}$ の漸近正規分布を求めよ。

解答.

$|T_n-\overline X_n|=|1-2\overline X_n|/(n+2)\leq1/(n+2)$ である。中心極限定理と Slutsky の定理によって

\sqrt n(T_n-\theta)\Rightarrow N(0,\theta(1-\theta)).

$g(t)=\log\{t/(1-t)\}$ は $(0,1)$ で微分可能であり、 $g'(t)=1/[t(1-t)]$ である。 $0<T_n<1$ なので全標本で $g(T_n)$ が定義される。デルタ法定理 4.1によって

\sqrt n\left(\log\frac{T_n}{1-T_n}-\log\frac\theta{1-\theta}\right) \Rightarrow N\left(0,\frac1{\theta(1-\theta)}\right).

▨

§E14.13最尤推定量の漸近理論

1 局所正則性と観測情報

2 尤度方程式の一致解

3 漸近線形表示と二次展開

4 母数関数と漸近有効性

5 演習

前提記事