Cramér–Rao の不等式 | 数理統計 I

定義 1.1 (score ベクトル). $(\mathcal X,\mathcal A)$ 上のシグマ有限測度 $\mu$ に支配された確率測度族 $(P_\theta)_{\theta\in\Theta}$ を考え、 $p_\theta$ を $P_\theta$ の $\mu$ に関する密度とする。母数空間 $\Theta$ は $\R^p$ の開集合であるとする。また、ある $S\in\mathcal A$ が存在し、すべての $\theta\in\Theta$ について $p_\theta>0$ が $S$ 上で成り立ち、 $p_\theta=0$ が $S$ の外で成り立つとする。各 $x\in S$ について写像 $\theta\mapsto p_\theta(x)$ が微分可能であるとき、

U_\theta(x)=\nabla_\theta\log p_\theta(x) =\frac{\nabla_\theta p_\theta(x)}{p_\theta(x)}

を $x$ における score ベクトル (score vector) という。観測が標本全体 $X=(X_1,\ldots,X_n)$ である場合には、 $p_\theta$ は標本全体の同時密度であり、 $U_\theta(X)$ も標本全体の score ベクトルである。

命題 1.2.定義 1.1のモデルにおいて、各 $j\in\{1,\ldots,p\}$ と各 $\theta\in\Theta$ について $x\mapsto\partial_jp_\theta(x)$ が $\mu$ 可積分であり、

\partial_j\int_Sp_\theta(x)\,\mu(dx) =\int_S\partial_jp_\theta(x)\,\mu(dx)

が成り立つとする。このとき $U_\theta$ は成分ごとに可積分であり、

E_\theta[U_\theta]=0

が成り立つ。

証明. 各 $j\in\{1,\ldots,p\}$ について、共通台 $S$ 上では

\bigl|(U_\theta)_j(x)\bigr|p_\theta(x) =|\partial_jp_\theta(x)|

であるから、 $(U_\theta)_j$ は $P_\theta$ 可積分である。さらに、密度の規格化と仮定した微分積分交換から

E_\theta[(U_\theta)_j] =\int_S\frac{\partial_jp_\theta(x)}{p_\theta(x)}p_\theta(x)\,\mu(dx) =\partial_j\int_Sp_\theta(x)\,\mu(dx) =\partial_j1 =0

を得る。すべての成分について同じ等式が成り立つため、 $E_\theta[U_\theta]=0$ である。▨

定義 1.3 (Fisher 情報行列).定義 1.1のモデルにおいて $E_\theta[\lVert U_\theta\rVert^2]<\infty$ であるとき、

I(\theta)=E_\theta[U_\theta U_\theta^\top]

を Fisher 情報行列 (Fisher information matrix) という。任意の $a\in\R^p$ に対して

a^\top I(\theta)a=E_\theta[(a^\top U_\theta)^2]\geq0

であるから、 $I(\theta)$ は対称半正定値行列である。命題 1.2の仮定も満たされる場合には、 $I(\theta)$ は $U_\theta$ の共分散行列に等しい。

命題 1.4 (情報等式).定義 1.1のモデルにおいて、各 $x\in S$ について $\theta\mapsto p_\theta(x)$ が二回微分可能であるとする。各 $j,k\in\{1,\ldots,p\}$ と各 $\theta\in\Theta$ について、 $\partial_{jk}p_\theta$ と $\partial_{jk}\log p_\theta$ がそれぞれ $\mu$ と $P_\theta$ に関して可積分であり、

\partial_{jk}\int_Sp_\theta(x)\,\mu(dx) =\int_S\partial_{jk}p_\theta(x)\,\mu(dx)

が成り立つとする。さらに $I(\theta)$ が有限であるとする。このとき

I(\theta)=-E_\theta[\nabla_\theta^2\log p_\theta(X)]

が成り立つ。

証明. $x\in S$ では、各 $j,k$ について

\partial_{jk}\log p_\theta(x) =\frac{\partial_{jk}p_\theta(x)}{p_\theta(x)} -\frac{\partial_jp_\theta(x)\,\partial_kp_\theta(x)}{p_\theta(x)^2}

である。両辺を $P_\theta$ に関して積分すると、仮定した可積分性と微分積分交換により

\begin{aligned} E_\theta[\partial_{jk}\log p_\theta(X)] &=\int_S\partial_{jk}p_\theta(x)\,\mu(dx) -E_\theta[(U_\theta)_j(U_\theta)_k]\\ &=\partial_{jk}\int_Sp_\theta(x)\,\mu(dx)-I(\theta)_{jk}\\ &=-I(\theta)_{jk} \end{aligned}

を得る。すべての成分についてこの等式が成り立つため、行列の等式が従う。▨

命題 1.5. $X_1,\ldots,X_n$ を独立な観測とする。各 $r\in\{1,\ldots,n\}$ について、 $X_r$ の密度 $p_{r,\theta}$ が定義 1.1と命題 1.2の仮定を満たし、score ベクトル $U_{r,\theta}$ の Fisher 情報行列 $I_r(\theta)$ が有限であるとする。標本全体の同時密度が

p_\theta(x_1,\ldots,x_n)=\prod_{r=1}^np_{r,\theta}(x_r)

であるとき、標本全体の score ベクトルと Fisher 情報行列は

U_\theta=\sum_{r=1}^nU_{r,\theta}, \qquad I_n(\theta)=\sum_{r=1}^nI_r(\theta)

を満たす。特に $X_1,\ldots,X_n$ が独立同分布であり、一観測の Fisher 情報行列を $I_1(\theta)$ と書くならば、

I_n(\theta)=nI_1(\theta)

である。

証明. 積密度の対数を微分すると

U_\theta(x_1,\ldots,x_n) =\nabla_\theta\sum_{r=1}^n\log p_{r,\theta}(x_r) =\sum_{r=1}^nU_{r,\theta}(x_r)

となる。命題 1.2により各 $U_{r,\theta}$ の期待値は零である。 $r\neq s$ のとき、独立性と期待値の積への分解§E11.7 定理 3.1を各成分に適用すると

E_\theta[U_{r,\theta}U_{s,\theta}^\top] =E_\theta[U_{r,\theta}]E_\theta[U_{s,\theta}]^\top =0

である。したがって、

\begin{aligned} I_n(\theta) &=E_\theta\left[\left(\sum_{r=1}^nU_{r,\theta}\right) \left(\sum_{s=1}^nU_{s,\theta}\right)^\top\right]\\ &=\sum_{r=1}^nE_\theta[U_{r,\theta}U_{r,\theta}^\top] =\sum_{r=1}^nI_r(\theta). \end{aligned}

独立同分布の場合には各 $I_r(\theta)$ が $I_1(\theta)$ に等しいため、最後の等式を得る。▨

定理 2.1 (Cramér–Rao の不等式).定義 1.1のモデルが命題 1.2の仮定を満たし、 $I(\theta)$ がすべての $\theta\in\Theta$ で有限な正定値行列であるとする。可測写像 $\delta:\mathcal X\to\R^k$ は、すべての $\theta\in\Theta$ について $E_\theta[\lVert\delta\rVert^2]<\infty$ を満たし、微分可能な写像 $\tau:\Theta\to\R^k$ の不偏推定量、すなわち

E_\theta[\delta]=\tau(\theta)

を満たすとする。さらに、各 $a\in\{1,\ldots,k\}$ 、 $j\in\{1,\ldots,p\}$ と各 $\theta\in\Theta$ について $x\mapsto\delta_a(x)\partial_jp_\theta(x)$ が $\mu$ 可積分であり、

\partial_j\int_S\delta_a(x)p_\theta(x)\,\mu(dx) =\int_S\delta_a(x)\partial_jp_\theta(x)\,\mu(dx)

が成り立つとする。このとき、 $D\tau(\theta)$ を $k\times p$ Jacobian 行列とすれば、半正定値順序に関して

\operatorname{Cov}_\theta(\delta) \succeq D\tau(\theta)I(\theta)^{-1}D\tau(\theta)^\top

が成り立つ。ここで

\operatorname{Cov}_\theta(\delta) =E_\theta[(\delta-E_\theta[\delta])(\delta-E_\theta[\delta])^\top]

である。等号が成り立つための必要十分条件は、

\delta-\tau(\theta) =D\tau(\theta)I(\theta)^{-1}U_\theta \qquad P_\theta\text{-ほとんど確実に}

が成り立つことである。

証明. $B=D\tau(\theta)$ と置く。各 $a,j$ について、仮定した微分積分交換と $E_\theta[U_\theta]=0$ から

\begin{aligned} E_\theta[(\delta_a-\tau_a(\theta))(U_\theta)_j] &=\int_S\delta_a(x)\partial_jp_\theta(x)\,\mu(dx) -\tau_a(\theta)E_\theta[(U_\theta)_j]\\ &=\partial_j\tau_a(\theta). \end{aligned}

したがって、

E_\theta[(\delta-\tau(\theta))U_\theta^\top]=B.

$A=BI(\theta)^{-1}$ および

V=\delta-\tau(\theta)-AU_\theta

と置く。 $E_\theta[\delta]=\tau(\theta)$ と $E_\theta[U_\theta]=0$ により $E_\theta[V]=0$ である。 $I(\theta)$ は対称であり、上で得た交差積の等式から

\begin{aligned} \operatorname{Cov}_\theta(V) &=E_\theta[VV^\top]\\ &=\operatorname{Cov}_\theta(\delta)-AB^\top-BA^\top+AI(\theta)A^\top\\ &=\operatorname{Cov}_\theta(\delta)-BI(\theta)^{-1}B^\top \end{aligned}

となる。任意の $c\in\R^k$ に対して

c^\top\operatorname{Cov}_\theta(V)c =E_\theta[(c^\top V)^2]\geq0

であるため、 $\operatorname{Cov}_\theta(V)$ は半正定値である。従って主張した行列不等式を得る。

行列不等式で等号が成り立つことは $\operatorname{Cov}_\theta(V)=0$ と同値である。 $\operatorname{Cov}_\theta(V)=0$ ならば、各成分 $V_a$ について $E_\theta[V_a^2]=0$ であるため $V_a=0$ が $P_\theta$ -ほとんど確実に成り立つ。成分は有限個であるから $V=0$ が $P_\theta$ -ほとんど確実に成り立つ。逆に $V=0$ が $P_\theta$ -ほとんど確実に成り立つならば $\operatorname{Cov}_\theta(V)=0$ である。 $V$ の定義を戻すと、主張した等号条件を得る。▨

系 2.2. $X_1,\ldots,X_n$ を一径数の独立同分布標本とし、一観測の Fisher 情報量 $I_1(\theta)$ が $0<I_1(\theta)<\infty$ を満たすとする。定理 2.1の正則性と微分積分交換の仮定を満たす実数値推定量 $\delta$ が、微分可能な実数値関数 $\tau(\theta)$ の不偏推定量であるならば、

\operatorname{Var}_\theta(\delta) \geq\frac{\tau'(\theta)^2}{nI_1(\theta)}

である。特に $E_\theta[\delta]=\theta$ ならば、

\operatorname{Var}_\theta(\delta)\geq\frac1{nI_1(\theta)}.

証明.命題 1.5により標本全体の Fisher 情報量は $I_n(\theta)=nI_1(\theta)$ である。定理 2.1に $p=k=1$ と $D\tau(\theta)=\tau'(\theta)$ を代入すると最初の不等式を得る。 $\tau(\theta)=\theta$ の場合には $\tau'(\theta)=1$ である。▨

定義 2.3 (有限標本の有効性). $X_1,\ldots,X_n$ を一径数の独立同分布標本とし、母数空間のすべての $\theta$ で系 2.2の仮定が成り立ち、 $0<I_1(\theta)<\infty$ であるとする。 $E_\theta[\delta]=\theta$ と $\operatorname{Var}_\theta(\delta)<\infty$ をすべての $\theta$ で満たす推定量 $\delta$ に対して、 $\theta$ における有限標本の有効性 (efficiency) を

\operatorname{eff}_\theta(\delta) =\frac{1/(nI_1(\theta))}{\operatorname{Var}_\theta(\delta)}

と定める。系 2.2により $0<\operatorname{eff}_\theta(\delta)\leq1$ である。 $\operatorname{eff}_\theta(\delta)=1$ であるとき、 $\delta$ は $\theta$ において有限標本で有効であるという。すべての $\theta$ で等号が成り立つとき、 $\delta$ はこのモデルにおいて有限標本で有効であるという。

例 3.1 (Poisson 模型). $X_1,\ldots,X_n$ を平均 $\lambda>0$ の Poisson 分布からの独立同分布標本とし、 $S=\sum_{i=1}^nX_i$ と置く。観測値を $x_1,\ldots,x_n$ と書き、 $S$ の観測値を同じ文字で表せば、対数尤度、score および対数尤度の二階導関数は

\begin{aligned} \ell(\lambda) &=-n\lambda+S\log\lambda-\sum_{i=1}^n\log(x_i!),\\ U_\lambda &=-n+\frac{S}{\lambda},\\ \ell''(\lambda) &=-\frac{S}{\lambda^2} \end{aligned}

である。§E11.5 命題 1.5と独立性から $E_\lambda[S]=n\lambda$ および $\operatorname{Var}_\lambda(S)=n\lambda$ であるため、

E_\lambda[U_\lambda]=0, \qquad \operatorname{Var}_\lambda(U_\lambda)=\frac n\lambda, \qquad -E_\lambda[\ell''(\lambda)]=\frac n\lambda

を得る。従って一観測の Fisher 情報量は $I_1(\lambda)=1/\lambda$ であり、標本全体の Fisher 情報量は $I_n(\lambda)=n/\lambda$ である。

観測値が $(1,3,2,0,4)$ である場合には $n=5$ 、 $S=10$ である。score は $0<\lambda<2$ で正、 $\lambda>2$ で負であるから、対数尤度は $\lambda=2$ で全域の一意な最大値をとる。従って $\widehat\lambda=2$ であり、 $\ell''(2)=-10/4=-2.5$ である。真値も $\lambda=2$ ならば、標本全体の Fisher 情報量は $I_5(2)=5/2=2.5$ である。

この観測値に対する尤度を格子上で評価した数値記録でも、最大点は $\lambda=2.0$ である。また、同じ $n=5$ 、真値 $\lambda=2$ の設定で200万回の標本を生成した数値記録では、score の標本平均は約 $-0.0007$ 、標本分散は約 $2.497$ であり、理論値 $0$ と $2.5$ に近い。

標本平均 $\bar X$ は $\lambda$ の不偏推定量であり、 $I_n(\lambda)=n/\lambda$ であるから、

\operatorname{Var}_\lambda(\bar X)=\frac\lambda n=\frac1{I_n(\lambda)}

を満たす。従って $\bar X$ は Cramér–Rao 下界を達成し、有限標本で有効である。

例 3.2 (Bernoulli 標本平均). $X_1,\ldots,X_n$ を成功確率 $p\in(0,1)$ の Bernoulli 分布からの独立同分布標本とする。標本全体の score は

U_p =\sum_{i=1}^n\left(\frac{X_i}{p}-\frac{1-X_i}{1-p}\right) =\frac{\sum_{i=1}^nX_i-np}{p(1-p)}

である。§E11.5 命題 1.3により $E_p[U_p]=0$ であり、

I_n(p)=E_p[U_p^2] =\frac{\operatorname{Var}_p(\sum_{i=1}^nX_i)}{p^2(1-p)^2} =\frac n{p(1-p)}.

また、 $\widehat p=\overline X$ は $p$ の不偏推定量であり、

\operatorname{Var}_p(\widehat p)=\frac{p(1-p)}n=\frac1{I_n(p)}

を満たす。従って $\widehat p$ はすべての $p\in(0,1)$ で Cramér–Rao 下界を達成し、有限標本で有効である。母数空間を $[0,1]$ として尤度を最大化する場合には、 $\widehat p=\overline X$ は最尤推定量でもある。

$p=0.3$ 、 $n=100$ のとき、一観測の Fisher 情報量は

I_1(p)=\frac1{0.3\cdot0.7}=4.76190\ldots

であり、標本全体の情報量は $I_{100}(p)=476.190\ldots$ である。下界と $\widehat p$ の分散はいずれも $0.0021$ であり、標準偏差は $\sqrt{0.0021}\approx0.04583$ である。

例 3.3 (Bernoulli 標本における等号の非達成). $X_1,X_2$ を成功確率 $p\in(0,1)$ の Bernoulli 分布からの独立同分布標本とし、 $\tau(p)=p^2$ を推定する。 $\delta=X_1X_2$ は成功確率 $p^2$ の Bernoulli 確率変数であるから、

E_p[\delta]=p^2, \qquad \operatorname{Var}_p(\delta)=p^2(1-p^2)

である。二観測の Fisher 情報量は

I_2(p)=\frac2{p(1-p)}

であり、 $\tau'(p)=2p$ である。したがって Cramér–Rao 下界は

\frac{\tau'(p)^2}{I_2(p)}=2p^3(1-p)

となる。実際の分散と下界との差は

p^2(1-p^2)-2p^3(1-p)=p^2(1-p)^2>0

であるため、 $\delta$ はどの $p\in(0,1)$ でも下界を達成しない。

等号条件からも同じ結論を得る。標本全体の score は

U_p=\frac{X_1+X_2-2p}{p(1-p)}

であるため、等号が成り立つならば

\delta-p^2 =\frac{\tau'(p)}{I_2(p)}U_p =p(X_1+X_2-2p)

がほとんど確実に成り立つ。しかし、正の確率 $(1-p)^2$ をもつ標本点 $(X_1,X_2)=(0,0)$ では、左辺が $-p^2$ 、右辺が $-2p^2$ であり、この等式は成り立たない。

注意 3.4 (母数に依存する台). $X_1,\ldots,X_n$ を $[0,\theta]$ 上の一様分布からの独立同分布標本とし、 $\theta>0$ とする。密度

p_\theta(x_1,\ldots,x_n) =\theta^{-n}\mathbf1_{[0,\theta]^n}(x_1,\ldots,x_n)

の台は $\theta$ に依存するため、定義 1.1の固定台の仮定を満たさない。

$M=\max_{1\leq i\leq n}X_i$ と置く。 $0\leq t\leq\theta$ に対して

P_\theta(M\leq t) =P_\theta(X_1\leq t,\ldots,X_n\leq t) =\left(\frac t\theta\right)^n

であるから、 $M$ の密度は $nt^{n-1}/\theta^n$ である。従って任意の $r>-n$ に対して

E_\theta[M^r] =\int_0^\theta t^r\frac{nt^{n-1}}{\theta^n}\,dt =\frac n{n+r}\theta^r.

特に、

E_\theta[M]=\frac n{n+1}\theta, \qquad \operatorname{Var}_\theta(M) =\frac{n}{(n+1)^2(n+2)}\theta^2.

$M>0$ である標本では最大値 $M$ が尤度を最大にし、 $P_\theta(M>0)=1$ であるため $M$ はほとんど確実に最尤推定量である。 $M$ の偏りは $-\theta/(n+1)$ である。不偏補正した

\widetilde\theta=\frac{n+1}{n}M

は

E_\theta[\widetilde\theta]=\theta, \qquad \operatorname{Var}_\theta(\widetilde\theta)=\frac{\theta^2}{n(n+2)}

を満たす。

固定した標本点が台の内部にある範囲だけで対数密度を微分すると $\partial_\theta\log p_\theta=-n/\theta$ となり、その期待値は零ではない。規格化積分を微分するときには動く境界からの項が生じるため、密度の内部での微分を積分した値とは一致しない。従って命題 1.2と定理 2.1はこのモデルに適用されず、 $\widetilde\theta$ の分散を正則モデルの Cramér–Rao 下界と比較することはできない。

§E14.12Cramér–Rao の不等式

1 score と Fisher 情報行列

2 不偏推定量の下界

3 例

参考文献

前提記事