確率変数の変換と密度変換 | 確率論入門

1 像測度による変換

命題 1.1. $X:\Omega\to\mathbb{R}^n$ を確率ベクトル、 $T:\mathbb{R}^n\to\mathbb{R}^m$ を Borel 可測写像とする。このとき $Y=T(X)$ は確率ベクトルであり、その分布は

\mu_Y=T_{\#}\mu_X

である。すなわち、任意の Borel 集合 $B\subset\mathbb{R}^m$ に対して

\mu_Y(B)=\mu_X(T^{-1}(B))

が成り立つ。

証明. $T$ と $X$ は可測であるため、合成 $Y=T\circ X$ も可測である。分布と像測度の定義から、

\mu_Y(B) =P(T(X)\in B) =P(X\in T^{-1}(B)) =\mu_X(T^{-1}(B))

を得る。▨

この命題は密度の存在を仮定しない。離散分布、絶対連続分布および特異分布のいずれにも同じ式を適用することができる。

2 Lebesgue 積分に対する変数変換

上流の§E4.14 定理 2.1は、有界 Jordan 可測集合と連続関数に対して変数変換公式を証明している。確率密度は連続とは限らないため、Borel 測度の一意性を用いて非負 Borel 可測関数まで公式を拡張する。

2.1 証明方針

Jacobi 行列式で重み付けた定義域側の測度を写像で移し、像側の Lebesgue 測度と比較する。最初にコンパクトに含まれる開直方体上で、連続関数版の変数変換公式と単調収束定理から両測度の値を一致させる。次に π–λ 定理で局所 Borel 集合へ広げ、可算な直方体被覆で開集合全体へ広げる。最後に指示関数、非負単関数、非負 Borel 可測関数の順に積分公式を導く。

補題 2.1. $U,V\subset\mathbb{R}^n$ を開集合とし、 $\Phi:U\to V$ を $C^1$ 級微分同相とする。 $h:V\to[0,\infty]$ が Borel 可測ならば、

\int_V h(y)\,dy =\int_U h(\Phi(x))\,|\det D\Phi(x)|\,dx

が $[0,\infty]$ において成り立つ。 $h$ が実数値 Borel 可測関数で、いずれか一方の絶対値の積分が有限ならば、両辺は絶対収束し、同じ等式が成り立つ。

証明. $V$ 上の Borel 測度 $\rho$ を

\rho(B) =\int_{\Phi^{-1}(B)}|\det D\Phi(x)|\,dx \qquad(B\in\mathcal{B}(V))

によって定める。被積分関数は非負 Borel 可測であるため、 $\rho$ は測度である。

連続なコンパクト台関数の多変数 Riemann 積分と Lebesgue 積分が一致することを、ここで確認する。関数 $g$ の台を含む閉直方体 $K$ を格子へ分割し、各小直方体上の $g$ の下限と上限を値とする単関数を $\ell_m,u_m$ とする。 $g$ は $K$ 上で一様連続であるため、格子の最大辺長を零へ近づけると

0\leq\int_Ku_m\,d\lambda_n-\int_K\ell_m\,d\lambda_n \leq\lambda_n(K)\,\omega_g(\operatorname{mesh}_m) \longrightarrow0,

ただし $\omega_g$ は一様連続性の法である。各単関数の Lebesgue 積分は対応する Darboux 和に一致し、 $\ell_m\leq g\leq u_m$ である。したがって、Lebesgue 積分は下 Darboux 和と上 Darboux 和の共通極限、すなわち Riemann 積分に一致する。

開直方体 $Q$ が $\overline Q\subset V$ を満たすとする。連続関数

h_k(y)=\min\{1,k\,\operatorname{dist}(y,V\setminus Q)\}

は $V$ 上で非負であり、台は $\overline Q$ に含まれ、 $h_k\uparrow\mathbf{1}_Q$ を満たす。上で確認した二つの積分の一致により、§E4.14 系 4.1を $h_k$ へ適用すると

\int_Vh_k(y)\,dy =\int_Uh_k(\Phi(x))|\det D\Phi(x)|\,dx

を得る。両辺へ単調収束定理を適用して

\lambda_n(Q)=\rho(Q)

を得る。ここで $\lambda_n$ は $n$ 次元 Lebesgue 測度である。

固定した開直方体 $Q$ 上では、 $\lambda_n$ と $\rho$ の制限は有限測度であり、全体 $Q$ の値が一致する。 $Q$ と、閉包が $Q$ に含まれる開直方体と、空集合からなる族は π 系であり、 $Q$ の Borel 集合族を生成する。二つの有限測度が一致する集合全体は Dynkin 系をなすため、§E9.1 定理 4.8により二つの測度は $Q$ のすべての Borel 集合上で一致する。

$V$ は、閉包が $V$ に含まれる開直方体の可算族 $(Q_j)_{j\geq1}$ で覆うことができる。 $D_1=Q_1$ および

D_j=Q_j\setminus\bigcup_{r<j}Q_r \qquad(j\geq2)

とおくと、 $D_j$ は互いに交わらず、各 $D_j$ は $Q_j$ に含まれる。任意の Borel 集合 $B\subset V$ に対して局所的な一致を $B\cap D_j$ へ適用し、可算加法性を用いると

\lambda_n(B)=\sum_{j=1}^{\infty}\lambda_n(B\cap D_j) =\sum_{j=1}^{\infty}\rho(B\cap D_j)=\rho(B)

となる。したがって、 $\lambda_n=\rho$ である。

指示関数、非負単関数およびその増加極限の順に積分すると、任意の非負 Borel 可測関数 $h$ について

\int_Vh\,d\rho =\int_Uh(\Phi(x))|\det D\Phi(x)|\,dx

である。 $\rho=\lambda_n$ を代入して非負の場合の主張を得る。実数値の場合は $h^+$ と $h^-$ へ非負の場合を適用する。絶対値の公式から一方の絶対可積分性は他方の絶対可積分性と同値であり、二つの等式の差をとることができる。▨

証明で用いた§E4.14 系 4.1は、開集合間の $C^1$ 級微分同相と非負連続関数を仮定する。適用箇所の $h_k$ は連続かつコンパクト台であるため、同定理の仮定を満たす。

3 一変数の単調変換

導関数が零にならない場合には、逆関数が $C^1$ 級であり、密度の公式は一つの逆像だけから得られる。

3.1 証明方針

Borel 集合 $B$ を固定し、像測度の式で $P(T(X)\in B)$ を $T^{-1}(B)$ 上の密度積分として書く。補題 2.1を逆像点における密度と $|T'|^{-1}$ の積へ適用し、 $B$ 上の積分へ移すことによって密度を同定する。

定理 3.1. $I,J\subset\mathbb{R}$ を開区間とし、 $T:I\to J$ を $C^1$ 級微分同相とする。 $X$ は $P(X\in I)=1$ を満たし、Lebesgue 密度 $f_X$ をもつとする。このとき $Y=T(X)$ は Lebesgue 密度

f_Y(y) =\mathbf{1}_J(y) \frac{f_X(T^{-1}(y))}{|T'(T^{-1}(y))|}

をもつ。

証明. Borel 集合 $B\subset\mathbb{R}$ に対して、命題 1.1と補題 2.1を用いると、

\begin{aligned} P(Y\in B) &=\int_{T^{-1}(B\cap J)}f_X(x)\,dx\\ &=\int_{B\cap J} \frac{f_X(T^{-1}(y))}{|T'(T^{-1}(y))|}\,dy. \end{aligned}

第二の等式では、 $T$ に対する変数変換公式へ $h(y)=\mathbf{1}_{B\cap J}(y)f_X(T^{-1}(y))/|T'(T^{-1}(y))|$ を適用した。したがって、表示した関数が $Y$ の密度である。▨

導関数が零になる点を含む単調写像では、臨界集合へ元の分布が置く確率を分離する必要がある。

3.2 証明方針

$I\setminus C$ を導関数が零にならない開区間へ分解する。臨界集合 $C$ からの確率を零確率の仮定で除いた後、各区間上の密度 $f_X\mathbf{1}_{I_k}$ が定める劣確率測度の寄与へ補題 2.1を直接適用する。最後に非負項の可算和と積分を Tonelli の定理で交換する。

定理 3.2. $I\subset\mathbb{R}$ を開区間、 $T:I\to\mathbb{R}$ を単調な $C^1$ 級写像とし、

C=\{x\in I:T'(x)=0\}

とおく。 $X$ は $P(X\in I)=1$ を満たし、密度 $f_X$ をもち、

P(X\in C)=\int_Cf_X(x)\,dx=0

とする。 $I\setminus C$ の連結成分を $(I_k)_{k\geq1}$ とし、 $T_k=T|_{I_k}$ 、 $J_k=T_k(I_k)$ とおく。このとき $Y=T(X)$ は密度

f_Y(y) =\sum_{k\geq1}\mathbf{1}_{J_k}(y) \frac{f_X(T_k^{-1}(y))}{|T'(T_k^{-1}(y))|}

をもつ。

証明. $I\setminus C$ は実直線の開集合であるため、高々可算個の互いに交わらない開区間 $I_k$ の和である。 $T$ が単調であり、 $I_k$ 上で導関数が零にならないため、各 $T_k:I_k\to J_k$ は $C^1$ 級微分同相である。

Borel 集合 $B$ に対して、 $C$ からの寄与は仮定により零である。したがって、各 $k$ について非負 Borel 可測関数

h_{k,B}(y) =\mathbf{1}_{B\cap J_k}(y) \frac{f_X(T_k^{-1}(y))}{|T_k'(T_k^{-1}(y))|}

を考える。補題 2.1を $T_k:I_k\to J_k$ と $h_{k,B}$ へ適用すると、

\int_{B\cap J_k} \frac{f_X(T_k^{-1}(y))}{|T_k'(T_k^{-1}(y))|}\,dy =\int_{I_k\cap T^{-1}(B)}f_X(x)\,dx.

この適用は $f_X\mathbf{1}_{I_k}$ の積分が $1$ であることを必要とせず、各枝が担う劣確率測度の質量をそのまま移す。

したがって、

\begin{aligned} P(Y\in B) &=\sum_{k\geq1} \int_{I_k\cap T^{-1}(B)}f_X(x)\,dx\\ &=\sum_{k\geq1}\int_{B\cap J_k} \frac{f_X(T_k^{-1}(y))}{|T'(T_k^{-1}(y))|}\,dy\\ &=\int_B\sum_{k\geq1}\mathbf{1}_{J_k}(y) \frac{f_X(T_k^{-1}(y))}{|T'(T_k^{-1}(y))|}\,dy. \end{aligned}

第二の等式は上の枝ごとの変数変換、第三の等式は非負関数に対する Tonelli の定理による。ゆえに、表示した関数が密度である。▨

零確率という仮定を外すと、変換後の分布には原子または特異成分が生じる場合がある。

命題 3.3. $T:I\to\mathbb{R}$ が区間 $[a,b]\subset I$ 上で定数 $c$ であり、 $P(X\in[a,b])>0$ とする。このとき、 $Y=T(X)$ は $c$ に原子をもち、

P(Y=c)\geq P(X\in[a,b])>0

である。

証明. $[a,b]\subset T^{-1}(\{c\})$ であるため、像測度の式から直ちに従う。▨

平坦な区間をもたない狭義単調写像でも、正の測度をもつ臨界集合が特異成分を作ることがある。

例 3.4 (太い Cantor 集合から生じる特異成分). $[0,1]$ から、第 $n$ 段階で残っている $2^{n-1}$ 個の閉区間の中央から、それぞれ長さ $4^{-n}$ の開区間を除く。残った閉集合を $F$ とする。除いた区間の長さの総和は

\sum_{n=1}^{\infty}2^{n-1}4^{-n}=\frac12

であるから、 $F$ は Lebesgue 測度 $1/2$ の閉集合である。各段階で各残存区間から開区間を除くため、 $F$ は内点をもたず、補集合は稠密である。実際、第 $n$ 段階の各残存区間の長さは前段階の長さの半分より小さいため、最大の長さは $2^{-n}$ 以下で零へ収束する。

$g(x)=\operatorname{dist}(x,F)$ とし、

T(x)=\int_0^xg(t)\,dt \qquad(0\leq x\leq1)

と定める。 $T$ は $C^1$ 級で $T'=g$ である。任意の $a<b$ に対して $(a,b)$ は $F$ の補集合の開区間を含み、その区間上で $g>0$ である。したがって $T(b)-T(a)=\int_a^bg(t)\,dt>0$ であり、 $T$ は狭義単調である。一方、臨界集合は $\{T'=0\}=F$ であり、正の Lebesgue 測度をもつ。

$X$ を $[0,1]$ 上の一様分布とし、 $Y=T(X)$ とする。 $\lambda_1(T(F))=0$ を確認する。任意の $\varepsilon>0$ に対して、 $g$ の連続性と $g|_F=0$ から、 $F$ を含み $g<\varepsilon$ を満たす開集合 $O\subset[0,1]$ を選ぶことができる。 $O$ を互いに交わらない開区間へ分解し、各区間で微積分学の基本定理を用いると、単調性から

\lambda_1(T(F)) \leq\lambda_1(T(O)) \leq\int_Og(x)\,dx \leq\varepsilon.

$\varepsilon$ は任意であるため、 $\lambda_1(T(F))=0$ である。しかし $T$ は単射なので、

P(Y\in T(F)) =P(X\in F) =\frac12.

したがって、 $Y$ の分布は Lebesgue 測度に関して絶対連続ではなく、質量 $1/2$ の非原子的な特異成分をもつ。実際、 $T$ は単射であり $X$ は一点に正の確率を置かないため、 $Y$ も原子をもたない。

この例は「狭義単調である」という条件だけでは密度変換公式に十分でないことを示す。定理 3.2の零確率条件は、臨界集合から生じる特異な寄与を除いている。

4 有限個の単調枝をもつ変換

単射でない写像は、有限個の正則な単調枝に分けることができる場合に限って扱う。

4.1 証明方針

写像を確率零集合上も含めて Borel 可測写像として先に定める。各枝上の $f_X\mathbf{1}_{I_j}$ が定める劣確率測度へ Borel 可測関数版の変数変換公式を直接適用し、同じ像点へ到達する有限個の枝の密度寄与を加える。

定理 4.1. $m\geq1$ とし、 $T:\mathbb{R}\to\mathbb{R}$ を Borel 可測写像とする。 $I_1,\ldots,I_m$ を互いに交わらない開区間、 $J_1,\ldots,J_m$ を開区間とし、各制限 $T_j=T|_{I_j}:I_j\to J_j$ が $C^1$ 級微分同相であるとする。 $X$ は密度 $f_X$ をもち、

P\!\left(X\in\bigcup_{j=1}^{m}I_j\right)=1

を満たすとする。 $Y=T(X)$ とおく。このとき、 $Y$ は密度

f_Y(y) =\sum_{j=1}^{m}\mathbf{1}_{J_j}(y) \frac{f_X(T_j^{-1}(y))}{|T_j'(T_j^{-1}(y))|}

をもつ。

証明. Borel 集合 $B$ を固定する。各 $j$ について

h_{j,B}(y) =\mathbf{1}_{B\cap J_j}(y) \frac{f_X(T_j^{-1}(y))}{|T_j'(T_j^{-1}(y))|}

とおく。補題 2.1を $T_j$ と $h_{j,B}$ へ適用すると、

\int_{B\cap J_j} \frac{f_X(T_j^{-1}(y))}{|T_j'(T_j^{-1}(y))|}\,dy =\int_{I_j\cap T^{-1}(B)}f_X(x)\,dx.

各枝の積分は一般には $1$ でなく、 $P(X\in I_j)$ に等しい劣確率測度の全質量である。枝が互いに交わらず、その和集合へ $X$ が入る確率が $1$ であることから、

\begin{aligned} P(Y\in B) &=\sum_{j=1}^{m}\int_{I_j\cap T^{-1}(B)}f_X(x)\,dx\\ &=\sum_{j=1}^{m}\int_{B\cap J_j} \frac{f_X(T_j^{-1}(y))}{|T_j'(T_j^{-1}(y))|}\,dy. \end{aligned}

有限和と積分を交換して表示した密度を得る。▨

例 4.2 (標準正規確率変数の平方). $X$ を標準正規分布に従う確率変数とし、 $Y=X^2$ とする。写像 $T(x)=x^2$ は $(-\infty,0)$ と $(0,\infty)$ の二つの枝で正則であり、 $P(X=0)=0$ である。 $y>0$ に対する二つの逆像は $-\sqrt y$ と $\sqrt y$ であるから、

\begin{aligned} f_Y(y) &=\frac{1}{2\sqrt y}\frac{1}{\sqrt{2\pi}}e^{-y/2} +\frac{1}{2\sqrt y}\frac{1}{\sqrt{2\pi}}e^{-y/2}\\ &=\frac{1}{\sqrt{2\pi y}}e^{-y/2}. \end{aligned}

$y\leq0$ では $f_Y(y)=0$ である。規格化は $y=x^2$ と置換して

\int_0^{\infty}\frac{1}{\sqrt{2\pi y}}e^{-y/2}\,dy =2\int_0^{\infty}\frac{1}{\sqrt{2\pi}}e^{-x^2/2}\,dx=1

と再計算することができる。

5 多変数の微分同相

一変数の導関数の絶対値は、多変数では Jacobi 行列式の絶対値に置き換わる。

5.1 証明方針

像測度によって $P(\Phi(X)\in B)$ を $\Phi^{-1}(B)$ 上の密度積分へ直す。補題 2.1を逆写像 $\Phi^{-1}$ へ適用して像側の積分へ移し、逆関数の微分公式で $|\det D\Phi^{-1}|$ を $|\det D\Phi|^{-1}$ に書き換える。

定理 5.1. $U,V\subset\mathbb{R}^n$ を開集合とし、 $\Phi:U\to V$ を $C^1$ 級微分同相とする。確率ベクトル $X$ は $P(X\in U)=1$ を満たし、Lebesgue 密度 $f_X$ をもつとする。このとき $Y=\Phi(X)$ は密度

\begin{aligned} f_Y(y) &=\mathbf{1}_V(y)f_X(\Phi^{-1}(y)) |\det D\Phi^{-1}(y)|\\ &=\mathbf{1}_V(y) \frac{f_X(\Phi^{-1}(y))} {|\det D\Phi(\Phi^{-1}(y))|} \end{aligned}

をもつ。

証明. Borel 集合 $B\subset\mathbb{R}^n$ に対して、像測度の式と補題 2.1を $\Phi^{-1}:V\to U$ へ適用すると、

\begin{aligned} P(Y\in B) &=\int_{\Phi^{-1}(B\cap V)}f_X(x)\,dx\\ &=\int_{B\cap V}f_X(\Phi^{-1}(y)) |\det D\Phi^{-1}(y)|\,dy. \end{aligned}

逆関数の微分公式 $D\Phi^{-1}(y)=(D\Phi(\Phi^{-1}(y)))^{-1}$ から、行列式の二つの表示は一致する。行列式に絶対値を付けるため、向きを反転する微分同相にも同じ密度公式を適用することができる。▨

6 演習

問題 6.1 (減少変換で絶対値が必要な理由). $X$ が区間 $(0,1)$ 上の一様分布に従い、 $Y=1-X$ とする。定理 3.1を用いて $Y$ の密度を求め、導関数の絶対値を外すことができない理由を説明せよ。

解答.

$T(x)=1-x$ は $(0,1)$ から $(0,1)$ への $C^1$ 級微分同相であり、 $T^{-1}(y)=1-y$ 、 $T'(x)=-1$ である。したがって、

f_Y(y)=\mathbf{1}_{(0,1)}(y) \frac{1}{|-1|}=\mathbf{1}_{(0,1)}(y).

絶対値を外すと候補は $-1$ となり、非負でなければならない密度にならない。絶対値は向きの反転を体積の符号へ反映させないために必要である。▨

問題 6.2.

$X$ が指数 $1$ の指数分布に従い、 $Y=e^X$ とする。定理 3.1を用いて $Y$ の密度を求め、その積分が $1$ であることを検算せよ。
例 3.4で、 $T$ が狭義単調であることと $\lambda_1(T(F))=0$ を、証明中の各不等式の仮定を明記して再構成せよ。
定理 4.1の密度を全実直線上で積分し、枝ごとの変数変換によって積分値が $P(X\in\bigcup_{j=1}^{m}I_j)=1$ に等しいことを証明せよ。

7 扱う範囲の境界と次の記事

非単射写像については、有限個の正則な単調枝に分けることができる場合だけを扱った。一般の可算枝、高次元での重複度を含む面積公式、臨界値集合を扱う高次元の Sard の定理、および特異測度の一般的な分解は本記事の範囲外である。次の記事では、独立な確率変数の和を写像 $(x,y)\mapsto x+y$ で変換し、離散分布と絶対連続分布の畳み込みを導く。

§E11.8確率変数の変換と密度変換

1 像測度による変換

2 Lebesgue 積分に対する変数変換

2.1 証明方針

3 一変数の単調変換

3.1 証明方針

3.2 証明方針

4 有限個の単調枝をもつ変換

4.1 証明方針

5 多変数の微分同相

5.1 証明方針

6 演習

7 扱う範囲の境界と次の記事

参考文献

前提記事