許容性と minimax 推定 | 数理統計 I

定義 1.1 (許容性).§E14.6 定義 1.2の統計モデル、行動空間および損失関数を考える。二つの可測な決定則 $\delta,\delta'$ に対し、すべての $\theta\in\Theta$ で

R_\theta(\delta')\leq R_\theta(\delta)

が成り立ち、さらに

R_{\theta_0}(\delta')<R_{\theta_0}(\delta)

を満たす $\theta_0\in\Theta$ が存在するとき、 $\delta'$ は $\delta$ を支配する (dominate) という。 $\delta$ を支配する可測な決定則が存在しないとき、 $\delta$ は許容的 (admissible) であるという。

二つの決定則が各 $\theta\in\Theta$ について $P_\theta$ に関してほとんど確実に等しいとき、両者を同値とする。この同値性では、例外となる零集合は母数ごとに異なってよい。

定理 1.2.§E14.8 定義 3.1の仮定のもとで、事前分布 $\Pi$ に対する Bayes 推定量 $\delta_\Pi$ が

r_\Pi(\delta_\Pi)<\infty

を満たすとする。任意の Bayes 推定量 $\delta$ がすべての $\theta\in\Theta$ について $\delta=\delta_\Pi$ 、 $P_\theta$ -ほとんど確実に成り立つならば、 $\delta_\Pi$ は許容的である。

証明. $\delta_\Pi$ を支配する決定則 $\delta$ が存在すると仮定する。リスクの不等式を $\Pi$ で積分すると

r_\Pi(\delta)\leq r_\Pi(\delta_\Pi)

である。 $\delta_\Pi$ の Bayes 最適性から逆向きの不等式も成り立つため、 $\delta$ も Bayes 推定量である。仮定した一意性により、すべての $\theta$ で $\delta=\delta_\Pi$ 、 $P_\theta$ -ほとんど確実である。したがって、すべての $\theta$ で $R_\theta(\delta)=R_\theta(\delta_\Pi)$ となり、少なくとも一つの母数での狭義不等式に反する。よって支配する決定則は存在しない。▨

系 1.3.§E14.8 定義 3.1の仮定のもとで、事前予測分布を $M_\Pi(dx)=m(x)\mu(dx)$ とする。可測な決定則 $\delta_\Pi$ が存在し、 $M_\Pi$ に関してほとんどすべての $x$ で、 $a\mapsto r_x(a)$ が $a=\delta_\Pi(x)$ において一意な最小値を取るとする。さらに

r_\Pi(\delta_\Pi)<\infty,\qquad P_\theta\ll M_\Pi\quad(\theta\in\Theta)

を仮定する。このとき $\delta_\Pi$ は許容的である。

証明.§E14.8 定理 3.2により $\delta_\Pi$ は Bayes 推定量である。任意の Bayes 推定量 $\delta$ を取る。有限性の仮定と同じ定理の積分表示から、 $r_x(\delta_\Pi(x))$ と $r_x(\delta(x))$ は $M_\Pi$ -ほとんど至る所で有限である。その集合上での非負の差は積分が零であるため、 $M_\Pi$ -ほとんどすべての $x$ で

r_x(\delta(x))=r_x(\delta_\Pi(x))

となる。最小点の一意性から $\delta=\delta_\Pi$ 、 $M_\Pi$ -ほとんど確実である。各 $P_\theta\ll M_\Pi$ により同じ等式が各 $P_\theta$ に関してもほとんど確実に成り立つので、定理 1.2を適用することができる。▨

例 1.4. 母数空間、標本空間および行動空間をいずれも $\{0,1\}$ とし、零一損失

L(\theta,a)=\mathbf{1}_{\{\theta\ne a\}}

を用いる。標本分布を $P_0(\{0\})=1$ 、 $P_1(\{1\})=1$ とし、事前分布を $\Pi(\{0\})=1$ とする。事前予測分布は $M_\Pi=P_0$ であり、観測値 $0$ における事後分布は母数 $0$ に集中する。したがって、事後平均損失の最小点は $M_\Pi$ -ほとんど確実に一意である。

決定則 $\delta_\Pi(x)=0$ は Bayes 平均リスク零の Bayes 推定量である。一方、 $\delta'(x)=x$ と置くと、各母数におけるリスクは

$\theta$	$R_\theta(\delta_\Pi)$	$R_\theta(\delta')$
$0$	$0$	$0$
$1$	$1$	$0$

となる。ゆえに $\delta'$ は $\delta_\Pi$ を支配し、 $\delta_\Pi$ は許容的でない。この例では $M_\Pi(\{1\})=0<P_1(\{1\})$ であり、 $P_1\ll M_\Pi$ が成り立たない。

定義 2.1 (minimax 推定量).§E14.6 定義 1.2の統計モデル、行動空間および損失関数を考える。すべての可測な決定則の集合を $\mathcal D$ とする。

V=\inf_{\delta\in\mathcal D}\sup_{\theta\in\Theta}R_\theta(\delta)

を minimax 値 (minimax value) という。 $\delta^*\in\mathcal D$ が $\sup_\theta R_\theta(\delta^*)=V$ を満たすとき、 $\delta^*$ を minimax 推定量 (minimax estimator) という。

定義 2.2 (最も不利な事前分布).§E14.8 定義 3.1の統計モデルと損失について、事前分布 $\Pi$ に対する最小 Bayes 平均リスクを

b(\Pi)=\inf_{\delta\in\mathcal D}r_\Pi(\delta)

と書く。ここで $\mathcal D$ はすべての可測な決定則の集合である。事前分布 $\Pi^*$ が、同じ母数空間と基準測度に対する任意の事前確率密度 $\Pi$ について

b(\Pi)\leq b(\Pi^*)

を満たすとき、 $\Pi^*$ を最も不利な事前分布 (least favourable prior) という。

定理 2.3.§E14.8 定義 3.1の仮定のもとで、任意の事前分布 $\Pi$ に対して

b(\Pi)\leq V

が成り立つ。特に、ある事前分布 $\Pi^*$ と決定則 $\delta^*$ が

\sup_{\theta\in\Theta}R_\theta(\delta^*) =r_{\Pi^*}(\delta^*)=b(\Pi^*)<\infty

を満たすならば、 $\delta^*$ は minimax 推定量であり、 $\Pi^*$ は最も不利な事前分布である。

証明. 任意の可測な決定則 $\delta$ について、 $\Pi$ が確率測度であることから

\sup_{\theta\in\Theta}R_\theta(\delta) \geq\int_\Theta R_\theta(\delta)\,\Pi(d\theta) =r_\Pi(\delta)\geq b(\Pi)

である。 $\delta$ について下限を取ると $V\geq b(\Pi)$ を得る。仮定を満たす $\Pi^*,\delta^*$ に対しては

b(\Pi^*)\leq V\leq\sup_\theta R_\theta(\delta^*)=b(\Pi^*)

であり、 $\delta^*$ は minimax である。任意の事前分布 $\Pi$ に対して $b(\Pi)\leq V=b(\Pi^*)$ なので、 $\Pi^*$ は最も不利である。▨

系 2.4.§E14.8 定義 3.1の統計モデルと損失について、決定則 $\delta^*$ と事前分布列 $(\Pi_k)_{k\geq1}$ が

C=\sup_{\theta\in\Theta}R_\theta(\delta^*)<\infty, \qquad b(\Pi_k)\longrightarrow C

を満たすならば、 $\delta^*$ は minimax 推定量であり、minimax 値は $C$ である。

証明.定理 2.3により各 $k$ で $b(\Pi_k)\leq V\leq C$ である。 $k\to\infty$ とすると $V=C$ を得る。▨

命題 2.5. $n\in\NN$ 、 $p\in[0,1]$ とし、 $Y\sim\operatorname{Bin}(n,p)$ を観測して、二乗損失 $(a-p)^2$ のもとで $p$ を実数値の決定則によって推定する。このとき

\delta^*(Y)=\frac{Y+\sqrt n/2}{n+\sqrt n}

は minimax 推定量であり、minimax 値は $1/[4(\sqrt n+1)^2]$ である。また、 $\operatorname{Beta}(\sqrt n/2,\sqrt n/2)$ は最も不利な事前分布である。

証明. $a>0$ とし、事前分布 $\operatorname{Beta}(a,a)$ を取る。§E14.8 命題 4.2と§E14.8 命題 3.3により

\delta_a(Y)=\frac{Y+a}{n+2a}

は Bayes 推定量である。§E11.5 命題 1.3から、その分散は $np(1-p)/(n+2a)^2$ 、偏りは $a(1-2p)/(n+2a)$ である。したがって

R_p(\delta_a) =\frac{np(1-p)+a^2(1-2p)^2}{(n+2a)^2}.

$a=\sqrt n/2$ とすると、分子は

n\left[p(1-p)+\frac14(1-2p)^2\right]=\frac n4

となる。リスクはすべての $p\in[0,1]$ で $1/[4(\sqrt n+1)^2]$ に等しい。最大リスクと Bayes 平均リスクが一致するので、定理 2.3から結論を得る。▨

命題 3.1. $d\in\NN$ 、 $\theta\in\R^d$ とし、 $X\sim N_d(\theta,I_d)$ を観測して、損失 $L(\theta,a)=\|a-\theta\|^2$ のもとで $\theta$ を $\R^d$ 値の決定則によって推定する。 $\tau>0$ に対する事前分布 $\Pi_\tau=N_d(0,\tau^2I_d)$ の Bayes 推定量は

\delta_\tau(X)=c_\tau X,\qquad c_\tau=\frac{\tau^2}{1+\tau^2}

であり、各母数の標本分布に関する同値を除いて一意である。また、 $\delta_\tau$ は許容的であり、

R_\theta(\delta_\tau) =c_\tau^2d+(1-c_\tau)^2\|\theta\|^2, \qquad b(\Pi_\tau)=dc_\tau

が成り立つ。

証明.§E11.10 定理 5.1により、尤度と事前密度の積は各座標の正規密度の積に分かれる。§E14.8 命題 4.2 (2)を $n=1$ 、 $\mu_0=0$ 、 $\sigma^2=1$ として各座標へ適用すると、事後分布は

\theta\mid X=x\sim N_d(c_\tau x,c_\tau I_d)

である。各座標の事後二次積率は有限である。§E14.8 命題 3.3の分解を座標について加えると、任意の $a\in\R^d$ について

r_x(a)=dc_\tau+\|a-c_\tau x\|^2

を得る。 $x\mapsto c_\tau x$ は可測である。§E14.8 定理 3.2の積分表示により、任意の可測な決定則 $\delta$ について

r_{\Pi_\tau}(\delta) =dc_\tau+ \int_{\R^d}\|\delta(x)-c_\tau x\|^2\,M_{\Pi_\tau}(dx)

である。したがって $\delta_\tau(x)=c_\tau x$ は Bayes 推定量であり、 $b(\Pi_\tau)=dc_\tau<\infty$ である。さらに、 $\delta$ も Bayes 推定量ならば、非負な積分項は零であるから、 $\delta=\delta_\tau$ が $M_{\Pi_\tau}$ に関してほとんど確実に成り立つ。

予測密度

m_\tau(x)=\int_{\R^d}f_\theta(x)\pi_\tau(\theta)\,d\theta

はすべての $x$ で正である。実際、被積分関数はすべての $\theta$ で正である。また $f_\theta(x)\leq(2\pi)^{-d/2}$ なので $m_\tau(x)\leq(2\pi)^{-d/2}<\infty$ である。したがって、予測分布の零集合は Lebesgue 零集合であり、すべての $P_\theta$ で零集合となる。ゆえに任意の Bayes 推定量は、すべての $\theta$ について $\delta_\tau$ と $P_\theta$ -ほとんど確実に等しい。定理 1.2により $\delta_\tau$ は許容的である。

$X=\theta+Z$ 、 $Z\sim N_d(0,I_d)$ と書くと

\delta_\tau(X)-\theta=c_\tau Z-(1-c_\tau)\theta.

正規分布の平均と分散§E11.5 命題 2.5から $E[Z]=0$ 、 $E\|Z\|^2=d$ である。二乗ノルムを展開して期待値を取ると、表示した固定母数リスクを得る。▨

命題 3.2. $d\in\NN$ 、 $X\sim N_d(\theta,I_d)$ 、 $\theta\in\R^d$ とし、損失を $\|a-\theta\|^2$ とする。通常の推定量 $\delta_0(X)=X$ は minimax であり、minimax 値は $d$ である。一方、任意の $0<c<1$ に対して $cX$ は許容的であるが minimax でない。

証明. 通常の推定量のリスクは $R_\theta(\delta_0)=E_\theta\|X-\theta\|^2=d$ である。事前分布 $\Pi_k=N_d(0,k^2I_d)$ を取ると、命題 3.1により

b(\Pi_k)=\frac{dk^2}{1+k^2}\longrightarrow d.

系 2.4によって minimax 値は $d$ であり、 $\delta_0$ は minimax である。

$0<c<1$ に対して $\tau^2=c/(1-c)$ とすれば $c=c_\tau$ である。命題 3.1から $cX$ は許容的であるが、その最大リスクは

\sup_{\theta\in\R^d}\{c^2d+(1-c)^2\|\theta\|^2\}=\infty

なので minimax ではない。▨

命題 3.3. $d,n\in\NN$ 、 $\sigma^2>0$ とする。 $Y_1,\ldots,Y_n$ は独立に $N_d(\mu,\sigma^2I_d)$ に従い、 $\mu\in\R^d$ は未知、 $\sigma^2$ は既知であるとする。二乗損失 $L(\mu,a)=\|a-\mu\|^2$ のもとで、すべての Borel 可測な決定則

\delta:(\R^d)^n\longrightarrow\R^d

を比較する。このとき標本平均 $\overline Y=n^{-1}\sum_{j=1}^nY_j$ は minimax 推定量であり、minimax 値は $d\sigma^2/n$ である。

証明. $\tau>0$ とし、 $\mu$ の事前分布を $\Pi_\tau=N_d(0,\tau^2I_d)$ とする。§E14.8 命題 4.2 (2)を各座標へ適用すると、全標本 $Y=(Y_1,\ldots,Y_n)$ のもとでの事後分布は

\mu\mid Y \sim N_d(c_{\tau,n}\overline Y,v_{\tau,n}I_d), \qquad v_{\tau,n}=\left(\frac1{\tau^2}+\frac n{\sigma^2}\right)^{-1}, \qquad c_{\tau,n}=\frac{n\tau^2}{\sigma^2+n\tau^2}

である。§E14.8 命題 3.3の平方差分解を各座標について加え、§E14.8 定理 3.2で事前予測について積分すると、全標本から作る任意の可測な決定則 $\delta$ に対して

r_{\Pi_\tau}(\delta) =dv_{\tau,n} +E_{M_{\Pi_\tau}}\!\left[\|\delta(Y)-c_{\tau,n}\overline Y\|^2\right].

したがって、この決定問題における最小 Bayes 平均リスクは

b(\Pi_\tau)=dv_{\tau,n} =\frac{d\tau^2\sigma^2}{\sigma^2+n\tau^2} \longrightarrow\frac{d\sigma^2}{n}

である。

各 $Y_j$ の座標は独立な一変量正規変数であり、標本間も独立である。したがって、全標本の座標を並べたベクトルに§E11.10 定理 4.2を適用し、さらに標本平均を与える線形写像を取ると

\overline Y\sim N_d\!\left(\mu,\frac{\sigma^2}{n}I_d\right)

を得る。ゆえに、すべての $\mu\in\R^d$ について

R_\mu(\overline Y)=E_\mu\|\overline Y-\mu\|^2 =\frac{d\sigma^2}{n}.

系 2.4を事前分布列 $(\Pi_k)_{k\in\NN}$ へ適用すると、標本平均は minimax であり、minimax 値は $d\sigma^2/n$ である。▨

補題 4.1 (Stein の補題). $d\in\NN$ 、 $\theta\in\R^d$ 、 $X\sim N_d(\theta,I_d)$ とする。 $g:\R^d\to\R^d$ を Borel 可測とする。各 $i\in\{1,\ldots,d\}$ について、他の $d-1$ 座標に関する Lebesgue 測度でほとんどすべての座標線上で、 $g_i$ は第 $i$ 座標の関数として局所絶対連続であるとする。 $d=1$ では $g_1$ が $\R$ 上で局所絶対連続であるとする。 $\partial_i g_i$ を、ほとんど至る所に存在する偏導関数の有限値可測な代表とし、

E_\theta[g_i(X)^2]<\infty, \qquad E_\theta[|\partial_i g_i(X)|]<\infty

を仮定する。このとき

E_\theta[(X_i-\theta_i)g_i(X)] =E_\theta[\partial_i g_i(X)] \qquad(1\leq i\leq d)

が成り立つ。

証明. 第 $i$ 座標を $t$ 、残りの座標を $y$ と書く。§E11.10 定理 5.1により、 $X$ の密度は $\phi_{\theta_i}(t)\phi_{\theta_{-i}}(y)$ と分解される。ただし

\phi_{\theta_i}(t)=(2\pi)^{-1/2}e^{-(t-\theta_i)^2/2}, \qquad \phi_{\theta_i}'(t)=-(t-\theta_i)\phi_{\theta_i}(t)

である。 $d=1$ の場合、以下の $y$ に関する積分は不要である。

各 $R\geq1$ に対して関数 $\chi_R:\R\to[0,1]$ を

\chi_R(t)= \begin{cases} 1,&|t|\leq R,\\ 2-|t|/R,&R<|t|<2R,\\ 0,&|t|\geq2R \end{cases}

と定める。 $\chi_R$ は $\R$ 上で絶対連続であり、ほとんど至る所 $|\chi_R'|\leq1/R$ を満たす。

$g_i$ が局所絶対連続である座標線を固定する。§E10.2 定理 3.1 (2)により $g_i(t,y)\chi_R(t)$ は $[-2R,2R]$ 上で絶対連続である。§E10.2 定理 3.3をこの関数と $\phi_{\theta_i}$ に適用すると、 $\chi_R(\pm2R)=0$ なので境界項は零となり、

\begin{aligned} &\int_\R(t-\theta_i)g_i(t,y)\chi_R(t)\phi_{\theta_i}(t)\,dt\\ &\quad=\int_\R\partial_i g_i(t,y)\chi_R(t)\phi_{\theta_i}(t)\,dt +\int_\R g_i(t,y)\chi_R'(t)\phi_{\theta_i}(t)\,dt \end{aligned}

を得る。

§E11.4 定理 2.2から

E_\theta[|(X_i-\theta_i)g_i(X)|] \leq \bigl(E_\theta[g_i(X)^2]\bigr)^{1/2}<\infty, \qquad E_\theta|g_i(X)|<\infty

である。偏導関数の積分条件も合わせると、有限 $R$ での三つの積分は $y$ について積分した後も絶対可積分である。したがって§E9.11 定理 3.2により

E_\theta[(X_i-\theta_i)g_i(X)\chi_R(X_i)] =E_\theta[\partial_i g_i(X)\chi_R(X_i)] +E_\theta[g_i(X)\chi_R'(X_i)]

となる。局所絶対連続性を満たさない座標線の集合は、 $y$ の正規分布に関しても零集合である。

切断の微分を含む項は

\left|E_\theta[g_i(X)\chi_R'(X_i)]\right| \leq\frac1R E_\theta|g_i(X)|\longrightarrow0

を満たす。 $\chi_R(X_i)\to1$ 、 $0\leq\chi_R\leq1$ であるから、残る二項にはそれぞれ $|(X_i-\theta_i)g_i(X)|$ と $|\partial_i g_i(X)|$ を支配関数として§E9.7 定理 3.2を適用することができる。整数 $R\to\infty$ として主張を得る。▨

例 4.2. $X\sim N(0,1)$ とし、 $g(x)=\mathbf1_{(0,\infty)}(x)$ とおく。 $g$ は原点以外で微分可能であり、 $g'=0$ がほとんど至る所で成り立つ。また $E[g(X)^2]=1/2$ である。しかし、標準正規密度を $\phi$ とすると

E[Xg(X)]=\int_0^\infty x\phi(x)\,dx =\lim_{R\to\infty}\{\phi(0)-\phi(R)\} =\frac1{\sqrt{2\pi}}>0=E[g'(X)].

したがって、補題 4.1の局所絶対連続性を、ほとんど至る所での微分可能性だけに置き換えることができない。

命題 4.3. $X\sim N_d(\theta,I_d)$ 、 $\theta\in\R^d$ とし、 $g$ が補題 4.1の仮定を満たすとする。損失 $\|a-\theta\|^2$ のもとで、 $\delta(X)=X+g(X)$ のリスクは有限であり、

R_\theta(\delta) =d+E_\theta\left[\|g(X)\|^2+2\sum_{i=1}^d\partial_i g_i(X)\right]

である。

R_\theta(\delta) =d+E_\theta\|g(X)\|^2 +2\sum_{i=1}^dE_\theta[(X_i-\theta_i)g_i(X)].

各交差項へ補題 4.1を適用すると結論を得る。▨

補題 4.4. $d\geq3$ 、 $\theta\in\R^d$ 、 $X\sim N_d(\theta,I_d)$ とする。 $\|x\|^{-2}$ を原点で零と補完すると

0<E_\theta[\|X\|^{-2}]<\infty

である。

証明. Gaussian 密度は $M=(2\pi)^{-d/2}$ 以下である。 $k\in\N$ に対して

A_k=\{x\in\R^d:2^{-(k+1)}<\|x\|\leq2^{-k}\}

とおく。 $A_k$ 上では $\|x\|^{-2}\leq2^{2k+2}$ であり、 $A_k$ は一辺 $2^{1-k}$ の立方体に含まれる。したがって、Lebesgue 測度を $\lambda_d$ と書くと

\int_{0<\|x\|\leq1}\|x\|^{-2}f_\theta(x)\,dx \leq M\sum_{k=0}^\infty2^{2k+2}\lambda_d(A_k) \leq M2^{d+2}\sum_{k=0}^\infty2^{-k(d-2)}<\infty.

$\|x\|>1$ では $\|x\|^{-2}\leq1$ なので、球外の積分は $1$ 以下である。 $P_\theta(X=0)=0$ であり、被積分関数は原点以外で正であるため、期待値は正である。▨

定義 4.5 (James–Stein 推定量). $d\geq3$ とする。実数 $a$ に対して、Borel 可測な決定則 $\delta_a:\R^d\to\R^d$ を

\delta_a(x)= \begin{cases} \displaystyle\left(1-\frac a{\|x\|^2}\right)x,&x\ne0,\\ 0,&x=0 \end{cases}

と定める。 $\delta_{d-2}$ を James–Stein 推定量 (James–Stein estimator) といい、 $\delta_{\mathrm{JS}}$ と書く。

定理 4.6 (James–Stein). $d\geq3$ 、 $\theta\in\R^d$ 、 $X\sim N_d(\theta,I_d)$ とし、損失を $L(\theta,b)=\|b-\theta\|^2$ とする。実数 $a$ に対して、定義 4.5の決定則は

R_\theta(\delta_a) =d+\{a^2-2a(d-2)\}E_\theta[\|X\|^{-2}]

を満たす。特に $0<a<2(d-2)$ ならば、すべての $\theta\in\R^d$ で $R_\theta(\delta_a)<d$ であり、通常の推定量 $X$ は許容的でない。James–Stein 推定量は、各 $\theta$ において、この族の中で最小のリスクをもつ。

証明. $g(x)=\delta_a(x)-x$ とおく。 $x\ne0$ では

g_i(x)=-\frac{ax_i}{\|x\|^2}, \qquad \partial_i g_i(x)=-\frac a{\|x\|^2}+\frac{2ax_i^2}{\|x\|^4}.

第 $i$ 座標以外の座標がすべて零となる場合を除けば、各座標線は原点を通らず、その線上で $g_i$ は $C^1$ である。除いた座標の集合は $\R^{d-1}$ の一点であるから Lebesgue 零集合である。また、

g_i(x)^2\leq\frac{a^2}{\|x\|^2}, \qquad |\partial_i g_i(x)|\leq\frac{3|a|}{\|x\|^2}

であり、補題 4.4により必要な積分条件を満たす。

$x\ne0$ で

\|g(x)\|^2=\frac{a^2}{\|x\|^2}, \qquad \sum_{i=1}^d\partial_i g_i(x) =-\frac{ad}{\|x\|^2}+\frac{2a\sum_i x_i^2}{\|x\|^4} =-\frac{a(d-2)}{\|x\|^2}

である。命題 4.3へ代入するとリスクの式を得る。 $0<a<2(d-2)$ では係数 $a\{a-2(d-2)\}$ が負であり、逆二乗ノルムの期待値は正なので、すべての $\theta$ で狭義改善が成り立つ。

係数は

a^2-2a(d-2)=\{a-(d-2)\}^2-(d-2)^2

と書くことができる。したがって、この族の中では $a=d-2$ が各母数におけるリスクを最小にする。▨

系 4.7. $d\geq3$ 、 $X\sim N_d(\theta,I_d)$ 、 $\theta\in\R^d$ とし、損失を $L(\theta,b)=\|b-\theta\|^2$ とする。 $0<a<2(d-2)$ ならば、定理 4.6の $\delta_a$ は minimax 推定量である。したがって、通常の推定量 $X$ は minimax であっても許容的でない。

証明.定理 4.6により $\sup_\theta R_\theta(\delta_a)\leq d$ である。命題 3.2の minimax 値は $d$ なので、最大リスクは $d$ に等しく、 $\delta_a$ は minimax である。通常の推定量については命題 3.2と定理 4.6を合わせると結論を得る。▨

系 4.8. $d\geq3$ 、 $n\in\NN$ 、 $\sigma^2>0$ とする。 $Y_1,\ldots,Y_n$ は独立に $N_d(\mu,\sigma^2I_d)$ に従い、 $\mu\in\R^d$ は未知、 $\sigma^2$ は既知であるとする。標本平均を $\bar Y=n^{-1}\sum_{j=1}^nY_j$ 、 $v=\sigma^2/n$ とおく。損失 $L(\mu,b)=\|b-\mu\|^2$ のもとで、実数 $a$ に対する決定則

\widehat\mu_a= \begin{cases} \displaystyle\left(1-\frac{av}{\|\bar Y\|^2}\right)\bar Y,&\bar Y\ne0,\\ 0,&\bar Y=0 \end{cases}

は

R_\mu(\widehat\mu_a) =dv+v^2\{a^2-2a(d-2)\}E_\mu[\|\bar Y\|^{-2}]

を満たす。特に $0<a<2(d-2)$ ならば、すべての $\mu$ で $R_\mu(\widehat\mu_a)<dv=R_\mu(\bar Y)$ となり、標本平均は許容的でない。

証明. $n\geq2$ では§E14.3 定理 4.1を各座標へ適用すると、 $\bar Y_i\sim N(\mu_i,v)$ である。 $n=1$ では同じ分布は仮定そのものである。各 $Y_j$ の密度が座標ごとの積に分かれ、標本間も独立であるから、異なる座標の標本列は独立である。したがって、 $\bar Y$ の座標も独立であり、 $\bar Y\sim N_d(\mu,vI_d)$ である。

$X=\bar Y/\sqrt v$ 、 $\theta=\mu/\sqrt v$ とおくと $X\sim N_d(\theta,I_d)$ であり、 $\widehat\mu_a=\sqrt v\,\delta_a(X)$ である。よって

\|\widehat\mu_a-\mu\|^2=v\|\delta_a(X)-\theta\|^2, \qquad \|X\|^{-2}=v\|\bar Y\|^{-2}

が原点以外で成り立つ。定理 4.6のリスクを $v$ 倍すると表示式と狭義改善を得る。▨

§E14.11許容性と minimax 推定

1 許容性と Bayes 推定量

2 最大リスクと事前分布による下界

3 正規平均の推定

4 Stein の恒等式と縮小推定

前提記事