条件付き期待値 | 確率論入門 | 天游ヶ丘数理学院

1 定義と存在

定義 1.1. $X\in L^1(P)$ とし、 $\mathcal G\subset\mathcal F$ を部分シグマ加法族とする。 $\mathcal G$ 可測な可積分確率変数 $Y$ が、すべての $A\in\mathcal G$ に対して $\int_A Y\,dP=\int_A X\,dP$ を満たすとき、 $Y$ を $\mathcal G$ に関する $X$ の条件付き期待値 (conditional expectation) といい、 $E[X\mid\mathcal G]$ と書く。

定理 1.2. $X\in L^1(P)$ と部分シグマ加法族 $\mathcal G\subset\mathcal F$ に対して、 $E[X\mid\mathcal G]$ は存在し、 $P$ に関してほとんど至る所で一意である。

証明. $X=X^+-X^-$ とし、 $A\in\mathcal G$ に対して $\nu_\pm(A)=\int_A X^\pm dP$ と置く。 $\nu_\pm$ は $(\Omega,\mathcal G)$ 上の有限正測度であり、 $P|_{\mathcal G}(A)=0$ ならば $\nu_\pm(A)=0$ である。したがって $\nu_\pm\ll P|_{\mathcal G}$ である。従属選択公理の下で有限測度版 Radon–Nikodym の定理§E9.15 定理 2.3を適用すると、非負 $\mathcal G$ 可測関数 $f_\pm$ が存在して $\nu_\pm(A)=\int_Af_\pm dP$ となる。 $\int f_\pm dP=\nu_\pm(\Omega)<\infty$ であるから、 $f_\pm$ は有限値かつ可積分になるよう零集合上で修正することができる。 $Y=f_+-f_-$ と置けば $Y$ は $\mathcal G$ 可測かつ可積分であり、定義の積分等式を満たす。

$Y_1,Y_2$ が二つの候補ならば $Z=Y_1-Y_2$ は $\mathcal G$ 可測かつ可積分で、すべての $A\in\mathcal G$ に対して $\int_AZ\,dP=0$ である。 $A_n=\{Z\geq1/n\}$ とすると $0=\int_{A_n}Z\,dP\geq P(A_n)/n$ であるから $P(Z>0)=0$ である。 $-Z$ にも同じ議論を適用すると $P(Z<0)=0$ となる。したがって $Y_1=Y_2$ がほとんど至る所で成り立つ。▨

注意 1.3 (存在証明に用いた測度). 存在証明では符号付き測度へ直接定理を適用せず、 $X^+$ と $X^-$ が定める二つの有限正測度へ Radon–Nikodym の定理を適用した。したがって、得られる二つの密度が非負であることと可積分であることが構成の中で保証される。

2 基本性質と塔の性質

命題 2.1. $X,Y\in L^1(P)$ 、 $a,b\in\mathbb R$ とする。

$E[aX+bY\mid\mathcal G]=aE[X\mid\mathcal G]+bE[Y\mid\mathcal G]$ がほとんど至る所で成り立つ。
$X\geq0$ がほとんど至る所で成り立つならば、 $E[X\mid\mathcal G]\geq0$ もほとんど至る所で成り立つ。
$X$ が $\mathcal G$ 可測ならば $E[X\mid\mathcal G]=X$ がほとんど至る所で成り立つ。
$E[E[X\mid\mathcal G]]=E[X]$ である。
$|E[X\mid\mathcal G]|\leq E[|X|\mid\mathcal G]$ がほとんど至る所で成り立つ。

証明.(1)、(3)、(4)を示す。右辺が可積分かつ $\mathcal G$ 可測であることを確認し、定義の積分等式と一意性を適用すればよい。(2)を示す。 $W=E[X\mid\mathcal G]$ と置き、 $A_n=\{W\leq-1/n\}$ とする。定義から $0\leq\int_{A_n}X\,dP=\int_{A_n}W\,dP\leq-P(A_n)/n$ であるため、 $P(A_n)=0$ である。 $\{W<0\}=\bigcup_nA_n$ なので正値性が従う。最後に $-|X|\leq X\leq|X|$ へ線形性と正値性を適用すると(5)を得る。▨

定理 2.2 (塔の性質). $X\in L^1(P)$ とし、 $\mathcal H\subset\mathcal G\subset\mathcal F$ を部分シグマ加法族とする。このとき $E[E[X\mid\mathcal G]\mid\mathcal H]=E[X\mid\mathcal H]$ がほとんど至る所で成り立つ。

証明. 左辺は $\mathcal H$ 可測かつ可積分である。 $A\in\mathcal H$ は $\mathcal G$ にも属するため、条件付き期待値の定義を二度用いると $\int_AE[E[X\mid\mathcal G]\mid\mathcal H]dP=\int_AE[X\mid\mathcal G]dP=\int_AXdP.$ 一意性により主張が従う。▨

定理 2.3. $Z$ を有限値の実数値 $\mathcal G$ 可測確率変数とする。以下の条件付き期待値の等式は、すべて $P$ に関してほとんど至る所での等式である。

$Z$ が有界で $X\in L^1(P)$ ならば、 $E[XZ\mid\mathcal G]=ZE[X\mid\mathcal G]$ である。
$X\in L^1(P)$ かつ $XZ\in L^1(P)$ ならば、 $ZE[X\mid\mathcal G]$ も可積分であり、同じ等式が成り立つ。

証明.(1)を示す。まず $Z=\mathbf1_B$ 、 $B\in\mathcal G$ の場合には、任意の $A\in\mathcal G$ に対して積分を $A\cap B$ へ移せば定義の等式が得られる。線形性により $\mathcal G$ 可測単関数へ拡張し、有界 $Z$ を単関数で一様近似して積分の極限を取れば主張を得る。

(2)を示す。一般の場合、 $A_n=\{|Z|\leq n\}$ と置く。(1)と命題 2.1 (5)から

E[|Z|\mathbf1_{A_n}|E[X\mid\mathcal G]|] \leq E[|Z|\mathbf1_{A_n}E[|X|\mid\mathcal G]] =E[|ZX|\mathbf1_{A_n}].

単調収束定理§E9.7 定理 1.1により $ZE[X\mid\mathcal G]$ は可積分である。 $Z\mathbf1_{A_n}$ に(1)を適用し、定義の積分等式を任意の $A\in\mathcal G$ 上で書く。両辺で優収束定理§E9.7 定理 3.2を用いて $n\to\infty$ とすれば(2)の等式を得る。▨

3 Jensen の不等式と独立性

補題 3.1. 区間 $I$ 上の有限凸関数 $\varphi$ に対して、可算個のアフィン関数 $\ell_k$ が存在し、 $\ell_k\leq\varphi$ が $I$ 上で成り立ち、 $\varphi(x)=\sup_{k\geq1}\ell_k(x)$ が $I$ のすべての内点 $x$ で成り立つ。

証明. $I=\{a\}$ である場合には、定数アフィン関数 $\ell(x)=\varphi(a)$ だけからなる族を取ればよい。以下では $I$ の内部が空でない場合を考える。

$D$ を $I$ の内部の可算稠密部分集合とする。各 $q\in D$ について、凸性から

\sup_{x<q}\frac{\varphi(q)-\varphi(x)}{q-x} \leq \inf_{y>q}\frac{\varphi(y)-\varphi(q)}{y-q}

であり、両辺は $q$ の両側に固定した点の割線勾配で挟まれるため有限である。両辺の間から $s_q$ を選ぶと、 $\ell_q(x)=\varphi(q)+s_q(x-q)$ は $I$ 上で $\varphi$ 以下になる。

内点 $z\in I$ を任意に取り、 $a<c<z<d<b$ を満たす $a,b,c,d\in I$ を選ぶ。凸性による割線勾配の単調性から、 $c\leq u<v\leq d$ に対して

\frac{\varphi(c)-\varphi(a)}{c-a} \leq \frac{\varphi(v)-\varphi(u)}{v-u} \leq \frac{\varphi(b)-\varphi(d)}{b-d}

が成り立つ。両端の固定割線勾配の絶対値の大きい方を $L$ とすれば、 $|\varphi(v)-\varphi(u)|\leq L|v-u|$ である。したがって $\varphi$ は $[c,d]$ 上で Lipschitz 連続であり、特に $z$ で連続である。

$q_n\in D\cap[c,d]$ かつ $q_n\to z$ となる列を取る。 $s_{q_n}$ の選び方と割線勾配の単調性により

\frac{\varphi(c)-\varphi(a)}{c-a} \leq s_{q_n}\leq \frac{\varphi(b)-\varphi(d)}{b-d}

であるから、 $(s_{q_n})$ は有界である。 $\varphi(q_n)\to\varphi(z)$ と $s_{q_n}(z-q_n)\to0$ が成り立つため、 $\ell_{q_n}(z)\to\varphi(z)$ である。各 $\ell_q$ は $\varphi$ 以下であるから、可算族 $(\ell_q)_{q\in D}$ の上限は $\varphi(z)$ に等しい。▨

定理 3.2 (条件付き Jensen の不等式). $\varphi:I\to\mathbb R$ を凸関数とする。 $P(X\in I)=1$ であり、 $X$ と $\varphi(X)$ が可積分で、 $E[X\mid\mathcal G]\in I$ がほとんど至る所で成り立つとする。このとき $\varphi(E[X\mid\mathcal G])\leq E[\varphi(X)\mid\mathcal G]$ がほとんど至る所で成り立つ。

証明. $M=E[X\mid\mathcal G]$ と置く。補題 3.1の各 $\ell_k(x)=a_kx+b_k$ について、 $\ell_k(X)\leq\varphi(X)$ である。線形性と正値性により $\ell_k(E[X\mid\mathcal G])\leq E[\varphi(X)\mid\mathcal G]$ である。可算個の例外零集合の和を除き、すべての $k$ について同時に成立するため、 $M$ が $I$ の内点である事象上では左辺の上限を取って主張を得る。

$a=\inf I$ が $I$ に属する場合に $A=\{M=a\}$ と置く。 $A\in\mathcal G$ であり、可測因子の取り出しと塔の性質から $E[(X-a)\mathbf1_A]=E[(M-a)\mathbf1_A]=0.$ $X-a\geq0$ なので $X=a$ が $A$ 上でほとんど至る所で成り立つ。したがって、可測因子の取り出しにより

\mathbf1_AE[\varphi(X)\mid\mathcal G] =E[\mathbf1_A\varphi(X)\mid\mathcal G] =\varphi(a)\mathbf1_A

であり、 $E[\varphi(X)\mid\mathcal G]=\varphi(a)=\varphi(M)$ が $A$ 上でほとんど至る所で成り立つ。 $I$ に属する上端についても $b-X\geq0$ を用いる同じ議論が成り立つ。これらの事象と内部の事象が $\{M\in I\}$ を覆うため、主張を得る。▨

命題 3.3. $X\in L^1(P)$ とし、 $\sigma(X)$ と $\mathcal G$ が独立であるとする。このとき $E[X\mid\mathcal G]=E[X]$ がほとんど至る所で成り立つ。

証明. 独立性の定義§E11.7 定義 1.1により、 $B\in\sigma(X)$ と $A\in\mathcal G$ に対して $P(A\cap B)=P(A)P(B)$ である。したがって、 $X$ が非負単関数ならば線形性から $E[X\mathbf1_A]=E[X]P(A)$ が成り立つ。非負 $\sigma(X)$ 可測関数を非負単関数で下から近似し、単調収束定理§E9.7 定理 1.1を適用すると、同じ等式が非負 $X$ に対して成り立つ。一般の可積分 $X$ については $X^+$ と $X^-$ へ適用して差を取る。ゆえに $\int_AXdP=E[X]P(A)=\int_AE[X]dP.$ 定数 $E[X]$ は $\mathcal G$ 可測かつ可積分であるから、一意性により主張が従う。▨

4 条件付き確率、分割、条件付き分散

定義 4.1. 事象 $B\in\mathcal F$ に対して、 $P(B\mid\mathcal G)=E[\mathbf1_B\mid\mathcal G]$ と定める。条件付き確率 (conditional probability given a sigma-algebra) $P(B\mid\mathcal G)$ は $\mathcal G$ 可測な確率変数であり、各 $A\in\mathcal G$ 上で $P(A\cap B)$ を再現する。

例 4.2 (有限または可算分割). $(B_k)_{k\in K}$ を有限または可算な可測分割とし、 $\mathcal G=\sigma(B_k:k\in K)$ とする。 $X\in L^1(P)$ ならば

E[X\mid\mathcal G] =\sum_{k:P(B_k)>0}\frac{E[X\mathbf1_{B_k}]}{P(B_k)}\mathbf1_{B_k}

がほとんど至る所で成り立つ。零確率の分割要素上の値は任意であり、表示では零とした。

実際、右辺は $\mathcal G$ 可測であり、絶対値の期待値は $\sum_k|E[X\mathbf1_{B_k}]|\leq E[|X|]$ である。 $\mathcal G$ の各集合は分割要素の和であるから、各分割要素上の積分等式を加えると定義の等式を得る。

$X\in L^2(P)$ とする。条件付き Jensen の不等式を $x\mapsto x^2$ に適用して期待値を取ると、 $E[E[X\mid\mathcal G]^2]\leq E[X^2]<\infty$ である。したがって $E[X\mid\mathcal G]\in L^2(P)$ である。Cauchy–Schwarz の不等式§E11.4 定理 2.2により $X E[X\mid\mathcal G]$ は可積分であり、 $(X-E[X\mid\mathcal G])^2$ を展開した各項も可積分である。

定義 4.3. $X\in L^2(P)$ に対して、 $\operatorname{Var}(X\mid\mathcal G)=E[(X-E[X\mid\mathcal G])^2\mid\mathcal G]$ と定める。

定理 4.4 (全分散公式). $X\in L^2(P)$ ならば

\operatorname{Var}(X\mid\mathcal G)=E[X^2\mid\mathcal G]-E[X\mid\mathcal G]^2

がほとんど至る所で成り立ち、

\operatorname{Var}(X)=E[\operatorname{Var}(X\mid\mathcal G)]+\operatorname{Var}(E[X\mid\mathcal G])

が成り立つ。

証明. 前段で確認した可積分性の下で定義の平方を展開し、可測因子の取り出しを用いると第一式を得る。両辺の期待値を取り、塔の性質から $E[E[X^2\mid\mathcal G]]=E[X^2]$ を用いると、 $E[\operatorname{Var}(X\mid\mathcal G)]=E[X^2]-E[E[X\mid\mathcal G]^2].$ 右辺へ $E[X]^2$ を加減すれば全分散公式を得る。▨

5 演習

問題 5.1.

$\mathcal H\subset\mathcal G$ の下で塔の性質を定義だけから証明せよ。
可測因子の取り出しについて、指示関数の場合から有界単関数の場合への移行を詳しく証明せよ。
$X\in L^2(P)$ に対して $E[(X-E[X\mid\mathcal G])Z]=0$ がすべての有界 $\mathcal G$ 可測確率変数 $Z$ について成り立つことを証明せよ。

6 扱った範囲と境界

本記事では、条件付き期待値を Radon–Nikodym の定理から構成し、基本性質、塔の性質、可測因子の取り出し、条件付き Jensen の不等式、独立な情報による条件付け、分割上の計算、および全分散公式を証明した。正則条件付き分布と確率核は扱っていない。

§E11.11条件付き期待値