信頼区間 | 数理統計 I | 天游ヶ丘数理学院

定義 1.1. 可測空間 $(\mathcal X,\mathcal A)$ 上の確率測度族 $(P_\theta)_{\theta\in\Theta}$ を統計モデルとする。各 $x\in\mathcal X$ に対して集合 $C(x)\subseteq\Theta$ が定まり、各 $\theta\in\Theta$ に対して $\{x\in\mathcal X:\theta\in C(x)\}\in\mathcal A$ が成り立つとする。 $0<\alpha<1$ とする。

$C$ が水準 $1-\alpha$ の信頼集合 (confidence set) であるとは、すべての $\theta\in\Theta$ に対して

P_\theta\bigl(\theta\in C(X)\bigr)\geq1-\alpha

が成り立つことをいう。左辺を $\theta$ における被覆確率 (coverage probability) といい、 $1-\alpha$ を信頼係数 (confidence coefficient) または信頼水準 (confidence level) という。被覆確率がすべての $\theta\in\Theta$ で $1-\alpha$ に等しいとき、 $C$ を水準 $1-\alpha$ の正確な信頼集合 (exact confidence set) という。

$\Theta\subseteq\R$ であり、各 $x\in\mathcal X$ に対して $C(x)$ が空でない閉区間であるとき、 $C$ を水準 $1-\alpha$ の信頼区間 (confidence interval) という。正確な信頼集合でもある信頼区間を正確な信頼区間 (exact confidence interval) という。

注意 1.2. 標本を観測して $C(X)=c$ が確定した後、頻度論の母数 $\theta$ は固定された未知の値である。したがって、命題 $\theta\in c$ は真または偽であり、観測後の確率が $1-\alpha$ であるとは解釈しない。信頼水準は、同じ母数の下で標本を取り直して集合 $C(X)$ を構成する手続きを反復したときの被覆確率に対する保証である。

これに対して、Bayes の信用区間は事後分布の下で母数が区間に属する確率を指定する（§E14.8 定義 5.1）。二つの区間が同じ数値になる場合でも、被覆確率に関する標本抽出前の言明と、事後確率に関する観測後の言明は異なる。

命題 2.1. 関数 $Q:\mathcal X\times\Theta\to\R$ について、各 $\theta\in\Theta$ に対する切片 $Q(\cdot,\theta)$ が可測であり、 $P_\theta$ の下で同じ分布 $G$ に従うとする。 $B\subseteq\R$ を Borel 集合とし、 $G(B)=1-\alpha$ とおく。このとき

C(x)=\{\theta\in\Theta:Q(x,\theta)\in B\}

は水準 $1-\alpha$ の正確な信頼集合である。

さらに、 $\Theta$ が区間、 $B=[a,b]$ であり、各 $x\in\mathcal X$ に対して $\theta\mapsto Q(x,\theta)$ が連続かつ狭義単調で、その値域が $[a,b]$ を含むとする。このとき $C(x)$ は閉区間であり、その二つの端点は方程式 $Q(x,\theta)=a,b$ の解で与えられる。

証明. $\theta\in\Theta$ を固定する。 $Q(\cdot,\theta)$ の可測性により $\{x:\theta\in C(x)\}=\{x:Q(x,\theta)\in B\}$ は可測であり、

P_\theta\bigl(\theta\in C(X)\bigr)=P_\theta\bigl(Q(X,\theta)\in B\bigr)=G(B)=1-\alpha

が成り立つ。したがって $C$ は正確な信頼集合である。

$B=[a,b]$ とし、 $\theta\mapsto Q(x,\theta)$ が狭義増加である場合を考える。連続性、狭義単調性および値域の仮定により、 $Q(x,\theta_a)=a$ と $Q(x,\theta_b)=b$ を満たす $\theta_a,\theta_b\in\Theta$ が一意に存在し、

a\leq Q(x,\theta)\leq b\quad\Longleftrightarrow\quad\theta_a\leq\theta\leq\theta_b

となる。狭義減少の場合には二つの端点の順序を入れ替えれば同じ結論を得る。▨

定理 3.1. 可測空間 $(\mathcal X,\mathcal A)$ 上の統計モデル $(P_\theta)_{\theta\in\Theta}$ を取り、各 $\theta_0\in\Theta$ に対して単純帰無仮説 $H_0:\theta=\theta_0$ の水準 $\alpha$ の検定 $\varphi_{\theta_0}:\mathcal X\to[0,1]$ が与えられているとする。標本 $X$ と独立な $U\sim\operatorname{Unif}(0,1)$ を取り、

C(x,u)=\{\theta_0\in\Theta:u>\varphi_{\theta_0}(x)\}

と定める。このとき次が成り立つ。

$C(X,U)$ は水準 $1-\alpha$ の信頼集合である。各 $\theta$ に対して $E_\theta[\varphi_\theta(X)]=\alpha$ ならば、被覆確率はすべての $\theta$ で $1-\alpha$ に等しい。
$\theta_0\notin C(x,u)$ であることと、補助変数の値が $u$ であるときに検定 $\varphi_{\theta_0}$ が $H_0:\theta=\theta_0$ を棄却することは同値である。

逆に、水準 $1-\alpha$ の信頼集合 $C(X)$ が与えられたとき、 $\varphi_{\theta_0}(x)=\mathbf1_{\{\theta_0\notin C(x)\}}$ と定めると、 $\varphi_{\theta_0}$ は $H_0:\theta=\theta_0$ の水準 $\alpha$ の検定である。

証明.(1)を示す。 $\theta\in\Theta$ を固定する。 $\varphi_\theta$ の可測性により $\{(x,u):u>\varphi_\theta(x)\}$ は積可測集合である。条件付き確率を $U$ について計算すると、

P_\theta\bigl(\theta\in C(X,U)\bigr)=P_\theta\bigl(U>\varphi_\theta(X)\bigr)=E_\theta[1-\varphi_\theta(X)]\geq1-\alpha

となる。最後の不等号は $\varphi_\theta$ が単純帰無仮説 $H_0:\theta=\theta$ の水準 $\alpha$ の検定であることによる。期待値が $\alpha$ に等しければ、表示した不等号も等号になる。

(2)を示す。 $C$ の定義から

\theta_0\notin C(x,u)\quad\Longleftrightarrow\quad u\leq\varphi_{\theta_0}(x)

であり、右辺は検定関数を補助変数で実現した棄却規則である。

逆向きでは、信頼集合の可測性により $\varphi_{\theta_0}$ は可測である。 $\theta=\theta_0$ の下で

E_{\theta_0}[\varphi_{\theta_0}(X)]=P_{\theta_0}\bigl(\theta_0\notin C(X)\bigr)\leq\alpha

となるため、 $\varphi_{\theta_0}$ は水準 $\alpha$ の検定である。▨

例 4.1. $n\geq2$ 、 $0<\alpha<1$ とし、 $X_1,\ldots,X_n$ を $N(\mu,\sigma^2)$ からの無作為標本とする。 $\bar X$ を標本平均、 $S^2$ を不偏標本分散とする。 $\Phi$ を標準正規分布関数とし、自由度 $n-1$ の $t$ 分布の下側 $p$ 分位点を $q_{t_{n-1}}(p)$ と書く。

$\sigma^2>0$ が既知ならば、 $\left[\bar X-\Phi^{-1}(1-\alpha/2)\frac{\sigma}{\sqrt n},\bar X+\Phi^{-1}(1-\alpha/2)\frac{\sigma}{\sqrt n}\right]$ は $\mu$ の水準 $1-\alpha$ の正確な信頼区間である。
$\sigma^2>0$ が未知ならば、 $\left[\bar X-q_{t_{n-1}}(1-\alpha/2)\frac S{\sqrt n},\bar X+q_{t_{n-1}}(1-\alpha/2)\frac S{\sqrt n}\right]$ は $\mu$ の水準 $1-\alpha$ の正確な信頼区間である。

$n=16$ 、 $\bar X=100$ 、 $S=8$ のとき、 $95\%$ の t 区間を求める。 $q_{t_{15}}(0.975)\approx2.1314$ である。分位点を小数第4位まで丸めて計算すると、標準誤差は $S/\sqrt n=2$ であるから、区間端点の表示計算は

100\pm2.1314\cdot2=[95.7372,104.2628]

である。小数第3位まで丸めれば $[95.737,104.263]$ となる。比較のため $\sigma=8$ が既知ならば、 $\Phi^{-1}(0.975)\approx1.9600$ から z 区間の表示計算は $100\pm1.9600\cdot2=[96.080,103.920]$ となる。

証明.(1)を示す。§E14.3 定理 4.1により $Z=\sqrt n(\bar X-\mu)/\sigma\sim N(0,1)$ であり、標準正規分布の対称性により

P_{\mu,\sigma^2}\bigl(-\Phi^{-1}(1-\alpha/2)\leq Z\leq \Phi^{-1}(1-\alpha/2)\bigr)=1-\alpha

となる。この事象を $\mu$ について解くと(1)の区間を得る。

(2)を示す。§E14.3 定理 4.3により $T=(\bar X-\mu)/(S/\sqrt n)\sim t_{n-1}$ である。§E14.3 命題 2.4の分位点の対称性から

P_{\mu,\sigma^2}\bigl(-q_{t_{n-1}}(1-\alpha/2)\leq T\leq q_{t_{n-1}}(1-\alpha/2)\bigr)=1-\alpha

であり、この事象を $\mu$ について解くと(2)の区間を得る。▨

命題 4.2. $n\geq2$ 、 $0<\alpha<1$ 、 $\sigma^2>0$ とし、 $X_1,\ldots,X_n$ を $N(\mu,\sigma^2)$ からの無作為標本とする。 $S^2$ を不偏標本分散とし、 $q_{\chi^2_{n-1}}(p)$ を自由度 $n-1$ のカイ二乗分布の下側 $p$ 分位点とする。このとき

C(X)= \begin{cases} \displaystyle\left[\frac{(n-1)S^2}{q_{\chi^2_{n-1}}(1-\alpha/2)},\frac{(n-1)S^2}{q_{\chi^2_{n-1}}(\alpha/2)}\right],&S^2>0,\\[8pt] [1,1],&S^2=0 \end{cases}

は $\sigma^2$ の水準 $1-\alpha$ の正確な信頼区間である。

証明.§E14.3 定理 4.1により $W=(n-1)S^2/\sigma^2\sim\chi^2_{n-1}$ である。カイ二乗分布は $0$ に質量をもたないため、 $P_{\mu,\sigma^2}(S^2>0)=1$ である。したがって $S^2=0$ で指定した正の一点区間は被覆確率を変えず、すべての標本点で $C(X)$ は母数空間 $(0,\infty)$ の空でない閉区間になる。さらに、 $S^2$ の可測性から、各 $\sigma^2>0$ に対する包含事象 $\{\sigma^2\in C(X)\}$ は可測である。

§E14.3 命題 2.4により

P_{\mu,\sigma^2}\left(q_{\chi^2_{n-1}}(\alpha/2)\leq W\leq q_{\chi^2_{n-1}}(1-\alpha/2)\right)=1-\alpha

となる。二つの分位点は正であり、表示した不等式を $\sigma^2$ について解くと $\sigma^2\in C(X)$ を得る。ゆえに $P_{\mu,\sigma^2}(\sigma^2\in C(X))=1-\alpha$ である。▨

定理 5.1 (Clopper–Pearson 区間). $n\geq1$ 、 $0<\alpha<1$ とし、 $X\sim\operatorname{Bin}(n,p)$ 、 $p\in[0,1]$ とする。各 $x\in\{0,\ldots,n\}$ に対して、下端 $L(x)$ と上端 $U(x)$ を次のように定める。

$L(0)=0$ とする。 $1\leq x\leq n$ では、 $L(x)\in(0,1)$ を $P_{L(x)}(X\geq x)=\alpha/2$ の一意な解とする。
$U(n)=1$ とする。 $0\leq x\leq n-1$ では、 $U(x)\in(0,1)$ を $P_{U(x)}(X\leq x)=\alpha/2$ の一意な解とする。

このとき $L(x)<U(x)$ がすべての $x$ で成り立ち、 $[L(X),U(X)]$ は $p$ の水準 $1-\alpha$ の信頼区間である。すなわち、すべての $p\in[0,1]$ に対して

P_p\bigl(L(X)\leq p\leq U(X)\bigr)\geq1-\alpha

が成り立つ。この区間を Clopper–Pearson 区間という。

証明.§E14.2 補題 2.1と中間値の定理により、 $1\leq x\leq n$ に対する $L(x)$ と $0\leq x\leq n-1$ に対する $U(x)$ はそれぞれ存在して一意である。

$1\leq x<n$ では、 $0<L(x)<1$ であるため

T_{x+1}(L(x))=T_x(L(x))-P_{L(x)}(X=x)<\frac\alpha2=T_{x+1}(L(x+1)).

$T_{x+1}$ の狭義増加性により $L(x)<L(x+1)$ である。同様に、 $0\leq x<n-1$ では

H_{x+1}(U(x))=H_x(U(x))+P_{U(x)}(X=x+1)>\frac\alpha2=H_{x+1}(U(x+1)).

$H_{x+1}$ の狭義減少性により $U(x)<U(x+1)$ である。したがって $L$ と $U$ は標本値について非減少である。

$1\leq x\leq n-1$ とする。 $P_{L(x)}(X\geq x)=\alpha/2$ であるから

P_{L(x)}(X\leq x)=1-P_{L(x)}(X\geq x+1)>1-\frac\alpha2>\frac\alpha2.

$p\mapsto P_p(X\leq x)$ は狭義単調減少であり、 $U(x)$ では $\alpha/2$ に等しいため、 $L(x)<U(x)$ である。 $x=0$ では $L(0)=0<U(0)$ 、 $x=n$ では $L(n)<1=U(n)$ となる。

$p\in(0,1)$ を固定する。単純帰無仮説の下で成功確率を $p$ とし、検定統計量をそれぞれ $X$ と $-X$ とすると、

p_p^+(x)=P_p(X\geq x),\qquad p_p^-(x)=P_p(X\leq x)

は上側確率から定まる p 値である。したがって§E14.14 定義 3.1 (1)により、任意の $a\in[0,1]$ に対して

P_p\bigl(p_p^+(X)\leq a\bigr)\leq a,\qquad P_p\bigl(p_p^-(X)\leq a\bigr)\leq a

が成り立つ。

$x\geq1$ では $T_x(L(x))=\alpha/2$ であり、 $T_x$ は狭義増加であるから、 $L(x)>p$ と $p_p^+(x)<\alpha/2$ は同値である。 $x=0$ でも両方とも偽であるため、

\{L(X)>p\}=\{p_p^+(X)<\alpha/2\}

となる。この事象が空でなければ、有限集合 $\{x:p_p^+(x)<\alpha/2\}$ 上で $p_p^+(x)$ の最大値 $a_+$ を取ることができ、 $a_+<\alpha/2$ である。p 値の水準保証から

P_p(L(X)>p)=P_p\bigl(p_p^+(X)\leq a_+\bigr)\leq a_+<\frac\alpha2

を得る。事象が空ならば、この確率は $0$ である。

同様に、 $x\leq n-1$ では $H_x(U(x))=\alpha/2$ であり、 $H_x$ は狭義減少であるから、 $U(x)<p$ と $p_p^-(x)<\alpha/2$ は同値である。 $x=n$ でも両方とも偽であるため、

\{U(X)<p\}=\{p_p^-(X)<\alpha/2\}

となる。この事象が空でなければ、有限集合 $\{x:p_p^-(x)<\alpha/2\}$ 上で $p_p^-(x)$ の最大値 $a_-$ を取ることができ、 $a_-<\alpha/2$ である。したがって

P_p(U(X)<p)=P_p\bigl(p_p^-(X)\leq a_-\bigr)\leq a_-<\frac\alpha2

を得る。事象が空ならば、この確率は $0$ である。二つの非被覆事象は互いに素であるから、

P_p\bigl(p\notin[L(X),U(X)]\bigr)=P_p(L(X)>p)+P_p(U(X)<p)<\alpha

を得る。

$p=0$ では $X=0$ がほとんど確実に成り立ち、 $L(0)=0<U(0)$ である。 $p=1$ では $X=n$ がほとんど確実に成り立ち、 $L(n)<1=U(n)$ である。したがって二つの端点でも被覆確率は $1$ であり、主張は $[0,1]$ 全体で成り立つ。▨

例 5.2. $n=10$ 回の試行で成功回数が $X=0$ であり、信頼水準を $95\%$ 、すなわち $\alpha=0.05$ とする。下端は $L(0)=0$ である。上端を定める方程式は

P_{U(0)}(X=0)=(1-U(0))^{10}=0.025

であるから、

[L(0),U(0)]=\left[0,1-0.025^{1/10}\right]\approx[0,0.3085]

となる。成功が一度も観測されなくても、成功確率が $0$ であるとは確定しない。この区間は、標本数が $10$ のときに有限標本の被覆保証を保ちながら残すべき成功確率の候補を表す。

注意 5.3. Clopper–Pearson 区間は、二つの片側尾確率をそれぞれ $\alpha/2$ 未満に抑える検定を反転した区間である。二項分布では棄却確率が標本値ごとに跳ぶため、被覆確率は一般に $1-\alpha$ より大きい。したがって、この区間に対する「exact」は正規区間のように被覆確率がすべての母数で指定値に一致するという意味ではなく、漸近近似を用いない有限標本保証を表す慣用である。

§E14.18信頼区間

1 信頼集合と被覆確率

2 枢軸量による構成

3 検定との双対性

4 正規母集団の区間

5 二項モデルの区間

前提記事