尤度 | 数理統計 I | 天游ヶ丘数理学院

定義 1.1. $(\mathcal X,\mathcal A)$ を標本空間、 $\Theta$ を空でない母数集合とし、 $(P_\theta)_{\theta\in\Theta}$ を $\mathcal X$ 上の確率測度族とする。シグマ有限測度 $\mu$ がすべての $P_\theta$ を支配すると仮定し、各 $\theta\in\Theta$ について有限値非負可測な密度

p_\theta=\frac{dP_\theta}{d\mu}

の一つの版を選ぶ。観測値 $x\in\mathcal X$ を固定したとき、関数

L_x:\Theta\longrightarrow[0,\infty),\qquad L_x(\theta)=p_\theta(x)

を尤度関数 (likelihood function) という。また、 $\log0=-\infty$ と定めて

\ell_x:\Theta\longrightarrow[-\infty,\infty),\qquad \ell_x(\theta)=\log L_x(\theta)

とおき、 $\ell_x$ を対数尤度 (log-likelihood) という。

注意 1.2. 密度 $p_\theta$ は $\mu$ -概同値を除いてしか定まらないため、支配された確率測度族だけから各観測点における尤度関数が一意に定まるとは限らない。尤度を点ごとに用いるときは、統計モデルを表示する密度族の版も固定する必要がある。離散モデルの確率質量関数や、通常の連続モデルで明示される密度の式は、そのような版を与える。

注意 1.3. 各 $\theta\in\Theta$ を固定すると、 $p_\theta$ は観測値 $x$ の関数であり、 $\int_{\mathcal X}p_\theta\,d\mu=1$ を満たす。これに対して、観測値 $x$ を固定した尤度 $L_x$ は母数 $\theta$ の関数である。母数空間に測度を指定しておらず、 $L_x$ を母数について積分または総和して $1$ になる理由もないため、尤度関数は母数の確率分布ではない。

注意 1.4. 観測値が $x=(x_1,\ldots,x_n)$ であり、選択した同時密度が

p_\theta(x_1,\ldots,x_n)=\prod_{i=1}^n p_{i,\theta}(x_i)

と分解されるならば、尤度と対数尤度は

L_x(\theta)=\prod_{i=1}^n p_{i,\theta}(x_i),\qquad \ell_x(\theta)=\sum_{i=1}^n\log p_{i,\theta}(x_i)

となる。独立同分布標本では、すべての因子が同じ一観測の密度から得られる。

命題 1.5. 観測値 $x\in\mathcal X$ を固定し、 $L_x$ と $\widetilde L_x$ を $\Theta$ 上の二つの尤度関数とする。 $c(x)\in(0,\infty)$ が母数に依存せず、すべての $\theta\in\Theta$ について

\widetilde L_x(\theta)=c(x)L_x(\theta)

を満たすと仮定する。このとき、 $L_x$ と $\widetilde L_x$ の零点集合は一致し、拡張実数値の対数尤度は

\widetilde\ell_x(\theta)=\ell_x(\theta)+\log c(x)

を満たす。また、 $L_x(\vartheta)>0$ である任意の $\theta,\vartheta\in\Theta$ に対して

\frac{\widetilde L_x(\theta)}{\widetilde L_x(\vartheta)} =\frac{L_x(\theta)}{L_x(\vartheta)}

が成り立つ。さらに、任意の $\theta,\vartheta\in\Theta$ に対して

L_x(\theta)\leq L_x(\vartheta) \quad\Longleftrightarrow\quad \widetilde L_x(\theta)\leq\widetilde L_x(\vartheta)

である。したがって二つの尤度関数の最大化集合は一致する。

証明. $c(x)>0$ であるから、 $\widetilde L_x(\theta)=0$ と $L_x(\theta)=0$ は同値である。 $L_x(\theta)>0$ のときは積の対数を取ると

\widetilde\ell_x(\theta)=\log c(x)+\ell_x(\theta)

を得る。 $L_x(\theta)=0$ のときは両辺が $-\infty$ であるため、同じ等式が拡張実数上で成り立つ。さらに $L_x(\vartheta)>0$ ならば $\widetilde L_x(\vartheta)>0$ であり、

\frac{\widetilde L_x(\theta)}{\widetilde L_x(\vartheta)} =\frac{c(x)L_x(\theta)}{c(x)L_x(\vartheta)} =\frac{L_x(\theta)}{L_x(\vartheta)}

となる。正数 $c(x)$ の乗法は大小関係を保存するため、最後の同値と最大化集合の一致も従う。▨

命題 2.1. 観測値 $x\in\mathcal X$ を固定する。 $\theta,\vartheta\in\Theta$ が $L_x(\vartheta)>0$ を満たすとき、

R_x(\theta,\vartheta)=\frac{L_x(\theta)}{L_x(\vartheta)}

と書く。この尤度比は次の性質を満たす。

$L_x(\theta)>0$ ならば、 $R_x(\theta,\theta)=1$ である。
$L_x(\theta)>0$ かつ $L_x(\vartheta)>0$ ならば、 $R_x(\theta,\vartheta)=R_x(\vartheta,\theta)^{-1}$ である。
$L_x(\vartheta)>0$ かつ $L_x(\psi)>0$ ならば、 $R_x(\theta,\psi)=R_x(\theta,\vartheta)R_x(\vartheta,\psi)$ である。

証明. 尤度比の定義を代入し、各仮定によって正である分母を約分すると、(1)、(2)、(3)の三式を得る。▨

例 2.2. $\mathcal X=\{0,1\}$ 、 $\Theta=(0,1)$ とし、 $P_\theta(\{1\})=\theta$ 、 $P_\theta(\{0\})=1-\theta$ とする。 $\mathcal X$ 上の計数測度 $\mu$ に関する密度は

p_\theta(0)=1-\theta,\qquad p_\theta(1)=\theta

である。観測値が $x=1$ ならば $L_1(\theta)=\theta$ であり、任意の $\theta,\vartheta\in(0,1)$ に対して

R_1(\theta,\vartheta)=\frac{\theta}{\vartheta}

となる。

$\nu(\{0\})=1$ 、 $\nu(\{1\})=2$ と定めた測度 $\nu$ も各 $P_\theta$ を支配する。 $\nu$ に関する密度を $q_\theta$ とすると、 $q_\theta(0)=1-\theta$ 、 $q_\theta(1)=\theta/2$ である。したがって観測値 $x=1$ における尤度は $\widetilde L_1(\theta)=L_1(\theta)/2$ に変わるが、任意の $\theta,\vartheta\in(0,1)$ について

\frac{\widetilde L_1(\theta)}{\widetilde L_1(\vartheta)} =\frac{\theta}{\vartheta}

であり、尤度比は変わらない。

例 2.3. $\mathcal X=(0,\infty)$ 、 $\Theta=(0,\infty)$ とし、 $P_\theta$ を区間 $(0,\theta)$ 上の一様分布とする。Lebesgue 測度に関する密度の一つの版を

p_\theta(y)=\frac1\theta\mathbf1_{\{0<y<\theta\}}

と定める。観測値 $x>0$ を固定すると、尤度と対数尤度は

L_x(\theta)=\frac1\theta\mathbf1_{\{x<\theta\}},\qquad \ell_x(\theta)= \begin{cases} -\log\theta,&x<\theta,\\ -\infty,&0<\theta\leq x \end{cases}

となる。 $0<\theta<x$ では観測値 $x$ が区間 $(0,\theta)$ の外にあり、 $\theta=x$ では選択した密度版が端点で零となる。いずれの場合にも、尤度は零であり、対数尤度は $-\infty$ である。

例 2.4. 母数集合を $\Theta=\{0,1\}$ とし、ある観測値 $x$ において $L_x(0)=L_x(1)=1$ とする。正因子 $a(0)=1$ 、 $a(1)=2$ を掛けた関数 $\widetilde L_x(\theta)=a(\theta)L_x(\theta)$ は

R_x(1,0)=1,\qquad \frac{\widetilde L_x(1)}{\widetilde L_x(0)}=2

を満たす。したがって、命題 1.5で尤度比が保存されるためには、正因子が母数に依存しないという仮定が必要である。

命題 3.1. $H$ を集合とし、 $g:\Theta\to H$ を全単射とする。 $\eta=g(\theta)$ によって同じ確率測度族を $Q_\eta=P_{g^{-1}(\eta)}$ と添字付け直し、その密度を $q_\eta=p_{g^{-1}(\eta)}$ と定める。観測値 $x\in\mathcal X$ に対する再パラメータ化後の尤度と対数尤度は

L_x^{(g)}=L_x\circ g^{-1},\qquad \ell_x^{(g)}=\ell_x\circ g^{-1}

を満たす。また、 $L_x(\vartheta)>0$ ならば

\frac{L_x^{(g)}(g(\theta))}{L_x^{(g)}(g(\vartheta))} =R_x(\theta,\vartheta)

である。

証明. 任意の $\eta\in H$ に対して、再パラメータ化後の密度の定義から

L_x^{(g)}(\eta)=q_\eta(x)=p_{g^{-1}(\eta)}(x)=L_x(g^{-1}(\eta))

である。両辺の対数を取ると、 $L_x(g^{-1}(\eta))=0$ の場合も $\log0=-\infty$ の規約により、 $\ell_x^{(g)}(\eta)=\ell_x(g^{-1}(\eta))$ を得る。 $\eta=g(\theta)$ と $g(\vartheta)$ を代入すると、尤度比の等式が従う。▨

注意 3.2. 再パラメータ化は母数の添字を付け直す操作であるため、尤度は $g^{-1}$ との合成によって変換され、Jacobian 因子は現れない。Jacobian 因子が現れるのは、確率変数である観測値を変換し、観測空間上の密度を別の基準測度に関して書き直す場合である。

注意 4.1 (尤度原理と頻度論との緊張). 尤度原理は、二つの実験で実現した観測に対応する尤度関数が母数に依らない正因子を除いて一致するならば、その二つの観測は母数について同じ証拠を与えるとする原理である。

成功確率 $p\in(0,1)$ の Bernoulli 試行を考える。試行回数を $n$ に固定し、成功回数 $r$ を観測する実験の尤度は

\binom nr p^r(1-p)^{n-r}

である。これに対して、 $r$ 回目の成功が得られた時点で試行を止め、停止時刻 $n$ を観測する実験の尤度は

\binom{n-1}{r-1}p^r(1-p)^{n-r}

である。 $1\leq r\leq n$ ならば二つの尤度の比は $n/r$ であり、 $p$ に依存しない。したがって尤度原理は二つの観測を同じ証拠として扱う。

一方、頻度論的な検定の第一種過誤、 $p$ 値および信頼集合の被覆確率は、実現しなかった結果も含む標本分布を用いて定義される。試行回数を固定する実験と成功回数を固定する実験では標本分布が異なるため、これらの頻度論的評価は比例する尤度だけからは定まらない。

§E14.4尤度

1 尤度と対数尤度

2 尤度比

3 再パラメータ化

4 尤度原理

参考文献

前提記事