§E14.7推定法

例 1.6.$n\in\NN$とし、$X_1,\ldots,X_n$を$N(0,v)$（§E11.5 定義 2.4）からの独立同分布な標本とし、$v\in(0,\infty)$とする。観測値$x=(x_1,\ldots,x_n)$に対して$Q=\sum_{i=1}^n x_i^2>0$ならば、$v$に依存しない正の因子を除いた尤度は

である。その対数の微分は

であるから、尤度は$0<v<Q/n$で増加し、$v>Q/n$で減少する。したがって

が$Q>0$における一意な最大点である。各$v>0$について$P_v(Q=0)=0$であるから、$Q=0$で$(0,\infty)$内の値を任意に補えば最尤推定量を得る。標準偏差$\sigma=\sqrt v$は$v\in(0,\infty)$上の全単射な再パラメータ化であるため、命題 1.5により、$Q>0$では

となる。$Q=0$では$v\downarrow0$のとき$L_x(v)$が上に有界でなく、$v\in(0,\infty)$に最大点は存在しない。

例 1.10. 一つの観測値$x\in\R$に対し、$\Theta=\R$上の尤度が、正の定数因子を除いて

である正規位置模型を考える。写像$g(\theta)=\theta^2$は$\R$から$[0,\infty)$への全射であるが単射ではない。$\eta\geq0$に対して

である。元の尤度の一意な最大点は$\widehat\theta=x$であり、プロファイル尤度の一意な最大点は$\widehat\eta=x^2=g(\widehat\theta)$である。

例 2.1. 母数空間を$\Theta=\{-1,1\}$、標本空間を$\{0,1,2\}$とし、

と定め、残りの確率を$0$とする。$P_{-1}\neq P_1$であるから、この統計モデルは識別可能である。しかし$X=0$を観測すると$L_0(-1)=L_0(1)=1/2$となり、最大点は二つある。したがって、識別可能性は個々の有限標本について尤度の最大点が一意であることを保証しない。

また、$n\in\NN$とし、$X_1,\ldots,X_n$を$\operatorname{Pois}(\lambda)$（§E11.5 定義 1.4）からの独立同分布な標本とし、$\lambda\in(0,\infty)$とする。この模型は識別可能である。すべての観測値が$0$ならば、尤度は$L(\lambda)=e^{-n\lambda}$であり、上限$1$は$\lambda\in(0,\infty)$で達成されない。したがって、識別可能性は最尤推定量の存在も保証しない。

例 3.4.$n\in\NN$とし、$X_1,\ldots,X_n$を$\operatorname{Bern}(p)$（§E11.5 定義 1.2）からの独立同分布標本とし、$p\in[0,1]$とする。$S=\sum_{i=1}^nX_i$と置くと、観測値に対する尤度は

である。$0<S<n$のとき、

であるから、$L$は$p<S/n$で増加し、$p>S/n$で減少する。$S=0$のときは$L(p)=(1-p)^n$、$S=n$のときは$L(p)=p^n$である。したがって、すべての標本点で最大値は存在して一意であり、

である。この写像は可測である。

$E_p[X_1]=p$であるから、一階のモーメント方程式も$p=\overline X_n$となる。したがって$\overline X_n$はモーメント法推定量でもある。ここで$\mathcal S=\{0,1\}$、$D=[0,1]$、$\psi(m)=m$とすれば、標本モーメントの像は$D$に含まれ、命題 3.2の条件を満たす。ゆえに各$p\in[0,1]$について$\overline X_n$は$p$の一致推定量である。

例 3.5.$n\in\NN$とし、$X_1,\ldots,X_n$を母数$\theta>0$と密度

をもつ一様分布からの独立同分布標本とする。このとき

であるから、一階のモーメント方程式は$\theta=2\overline X_n$を与える。

観測値$x_1,\ldots,x_n>0$に対し、$x_{(n)}=\max_i x_i$と置く。尤度は

である。これは$0<\theta<x_{(n)}$で零となり、$\theta\geq x_{(n)}$では狭義単調減少する。したがって最尤推定量は$X_{(n)}=\max_iX_i$である。一般には$2\overline X_n$と$X_{(n)}$は等しくないため、モーメント法と最尤法は異なる推定量を与える。