特性関数と Lévy の連続性定理 | 確率論入門

1 定義と基本性質

定義 1.1. 実数値確率変数 $X$ の特性関数 (characteristic function of a random variable) とは、

\varphi_X(t)=E[e^{itX}] =\int_{\mathbb R}e^{itx}\,\mu_X(dx) \qquad(t\in\mathbb R)

によって定まる関数 $\varphi_X:\mathbb R\to\mathbb C$ である。より一般に、実数直線上の Borel 確率測度 $\mu$ の特性関数 (characteristic function of a probability measure) を

\widehat\mu(t)=\int_{\mathbb R}e^{itx}\,\mu(dx)

と定める。

$|e^{itx}|=1$ であるため、積率が有限でない分布についても特性関数は常に定義される。

命題 1.2. 確率測度 $\mu$ の特性関数 $\varphi$ は、すべての $s,t\in\mathbb R$ に対して

\varphi(0)=1,\qquad |\varphi(t)|\leq1,\qquad \varphi(-t)=\overline{\varphi(t)}

を満たす。また、 $\varphi$ は $\mathbb R$ 上で一様連続である。

証明. 最初の三つの性質は、 $e^{i0x}=1$ 、積分の絶対値評価、および $e^{-itx}=\overline{e^{itx}}$ から従う。一様連続性を示すため、 $h\in\mathbb R$ に対して

\sup_{t\in\mathbb R}|\varphi(t+h)-\varphi(t)| \leq\int_{\mathbb R}|e^{ihx}-1|\,\mu(dx)

と評価する。 $h\to0$ のとき被積分関数は各 $x$ で $0$ に収束し、常に $2$ 以下である。優収束定理§E9.7 定理 3.2により右辺は $0$ に収束する。したがって、 $\varphi$ は一様連続である。▨

独立性は同時分布を積測度にするため、和の指数関数を二つの積分へ分離する。

命題 1.3. $X$ と $Y$ が独立な実数値確率変数ならば、

\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t) \qquad(t\in\mathbb R)

が成り立つ。特に、 $X_1,\ldots,X_n$ が独立ならば、

\varphi_{X_1+\cdots+X_n}(t)=\prod_{j=1}^n\varphi_{X_j}(t)

である。

証明. 独立性による積測度表示§E11.7 定理 2.1と Fubini の定理§E9.11 定理 3.2を用いると、被積分関数の絶対値が $1$ であることから

\begin{aligned} \varphi_{X+Y}(t) &=\int_{\mathbb R^2}e^{it(x+y)}\,(\mu_X\times\mu_Y)(d(x,y))\\ &=\left(\int_{\mathbb R}e^{itx}\,\mu_X(dx)\right) \left(\int_{\mathbb R}e^{ity}\,\mu_Y(dy)\right) =\varphi_X(t)\varphi_Y(t) \end{aligned}

を得る。有限個の場合は、この等式を帰納的に適用すればよい。▨

例 1.4 (Bernoulli 分布の特性関数). $0\leq p\leq1$ とし、 $P(X=1)=p$ 、 $P(X=0)=1-p$ を満たす実数値確率変数 $X$ を考える。このとき、

\varphi_X(t)=1-p+pe^{it}

である。この分布に従う独立な確率変数 $X_1,\ldots,X_n$ の和 $S_n$ について、命題 1.3から

\varphi_{S_n}(t)=(1-p+pe^{it})^n

を得る。この式は二項分布の確率質量関数を直接足し合わせた結果とも一致する。

2 原点近傍の積率展開

特性関数の原点近傍の係数には積率が現れる。必要な剰余評価を先に示す。

補題 2.1. すべての $u\in\mathbb R$ に対して

|e^{iu}-1|\leq|u|,\qquad |e^{iu}-1-iu|\leq\frac{u^2}{2}

が成り立つ。また、

\frac{e^{iu}-1-iu+u^2/2}{u^2}\longrightarrow0 \qquad(u\to0)

であり、 $u\neq0$ のとき分子の絶対値は $u^2$ 以下である。

証明. 微積分学の基本定理から

e^{iu}-1=\int_0^u ie^{iv}\,dv,\qquad e^{iu}-1-iu=\int_0^u i(e^{iv}-1)\,dv

である。第一式と、第一式を第二式へ適用した評価により、最初の二つの不等式を得る。 $e^{iu}$ の $0$ における二次 Taylor 展開から極限を得る。また、第二の不等式から

|e^{iu}-1-iu+u^2/2| \leq |e^{iu}-1-iu|+u^2/2\leq u^2

である。▨

定理 2.2. $X$ を実数値確率変数とする。

$E[|X|]<\infty$ ならば、 $t\to0$ のとき $\varphi_X(t)=1+itE[X]+o(t)$ である。
$E[X^2]<\infty$ ならば、 $t\to0$ のとき $\varphi_X(t)=1+itE[X]-\frac{t^2}{2}E[X^2]+o(t^2)$ である。

証明.(1)を示す。 $t\neq0$ に対して

\frac{\varphi_X(t)-1}{t} =E\left[\frac{e^{itX}-1}{t}\right]

と書く。括弧内は各点で $iX$ に収束し、その絶対値は補題 2.1により $|X|$ 以下である。優収束定理§E9.7 定理 3.2から極限は $iE[X]$ である。

(2)を示す。

R_t=\frac{e^{itX}-1-itX+t^2X^2/2}{t^2}

とおく。 $t\to0$ のとき $R_t\to0$ が各点で成り立ち、補題 2.1から $|R_t|\leq X^2$ である。再び優収束定理を適用すると $E[R_t]\to0$ であり、第二の展開を得る。▨

3 区間反転公式と分布の一意性

反転公式の核に現れる Dirichlet 積分を、後の極限交換に必要な有界性とともに確認する。

補題 3.1 (Dirichlet 積分).

\int_0^\infty\frac{\sin u}{u}\,du=\frac\pi2

が広義積分として成り立つ。また、

\operatorname{Si}(v)=\int_0^v\frac{\sin u}{u}\,du

とおくと、 $\operatorname{Si}$ は $\mathbb R$ 上で有界であり、 $v\to\pm\infty$ のとき $\operatorname{Si}(v)\to\pm\pi/2$ である。

証明. $0<A<B$ に対して部分積分すると、

\left|\int_A^B\frac{\sin u}{u}\,du\right|\leq\frac{2}{A}

である。したがって広義積分は収束し、 $\operatorname{Si}$ は有界である。

$s>0$ に対して

I(s)=\int_0^\infty e^{-su}\frac{\sin u}{u}\,du

とおく。 $s$ を正の閉区間内で動かすときは微分後の被積分関数も可積分関数で抑えられるため、積分記号の下で微分して

I'(s)=-\int_0^\infty e^{-su}\sin u\,du=-\frac{1}{1+s^2}

を得る。 $s\to\infty$ で $I(s)\to0$ であるから、 $I(s)=\arctan(1/s)$ である。 $h_s(u)=e^{-su}/u$ とおくと、

h_s'(u)=-e^{-su}\left(\frac{s}{u}+\frac{1}{u^2}\right)<0

であり、 $h_s(u)\to0$ が成り立つ。 $0<A<B$ に対して部分積分すると、

\begin{aligned} \left|\int_A^B h_s(u)\sin u\,du\right| &=\left|\left[-h_s(u)\cos u\right]_A^B +\int_A^B h_s'(u)\cos u\,du\right|\\ &\leq h_s(A)+h_s(B)+\int_A^B(-h_s'(u))\,du =2h_s(A)\leq\frac{2}{A}. \end{aligned}

したがって、 $A$ より後の積分は $s>0$ によらず $2/A$ 以下である。したがって、有限区間上の極限と一様な尾部評価を合わせると、 $s\downarrow0$ のとき $I(s)$ はもとの広義積分へ収束する。ゆえに、もとの広義積分の値は $\pi/2$ である。負の $v$ に対する主張は変数変換 $u=-w$ による

\operatorname{Si}(v) =-\int_0^{-v}\frac{\sin w}{w}\,dw =-\operatorname{Si}(-v) \qquad(v<0)

から従う。したがって、負の半直線でも有界であり、 $v\to-\infty$ のとき極限は $-\pi/2$ である。▨

定理 3.2 (特性関数の区間反転公式). $\mu$ を実数直線上の Borel 確率測度、 $\varphi$ をその特性関数とする。 $a<b$ が $\mu(\{a\})=\mu(\{b\})=0$ を満たすならば、

\mu((a,b)) =\lim_{T\to\infty}\frac{1}{2\pi} \int_{-T}^{T}\frac{e^{-ita}-e^{-itb}}{it}\,\varphi(t)\,dt

である。 $t=0$ における被積分関数の因子は、連続延長によって $b-a$ と解釈する。

証明. $T<\infty$ のとき、積分領域上で被積分関数は有界であるため、Fubini の定理§E9.11 定理 3.2を適用することができる。また、

\frac{e^{-ita}-e^{-itb}}{it}=\int_a^b e^{-ity}\,dy

である。したがって、反転公式の右辺で極限をとる前の量は

\begin{aligned} &\int_{\mathbb R}\left\{\frac{1}{2\pi}\int_{-T}^T e^{itx}\frac{e^{-ita}-e^{-itb}}{it}\,dt\right\}\mu(dx)\\ &\qquad=\int_{\mathbb R}\frac{1}{\pi} \left\{\operatorname{Si}(T(x-a))-\operatorname{Si}(T(x-b))\right\}\mu(dx) \end{aligned}

に等しい。補題 3.1により、括弧内を $\pi$ で割った関数は、 $x\in(a,b)$ で $1$ 、 $x=a,b$ で $1/2$ 、それ以外で $0$ に収束する。また、その絶対値は $T$ と $x$ によらない定数で抑えられる。優収束定理§E9.7 定理 3.2と端点の仮定から、極限は $\mu((a,b))$ である。▨

定理 3.3. 実数直線上の二つの Borel 確率測度が同じ特性関数をもつならば、二つの確率測度は等しい。

証明. 確率測度 $\mu$ に対して

A_m=\{x\in\mathbb R\mid \mu(\{x\})\geq1/m\}

とおくと、全質量が $1$ であるため $A_m$ は有限集合である。正の質量を与える一点全体は $\bigcup_{m=1}^{\infty}A_m$ に等しいので高々可算である。この議論を二つの測度へ適用すると、二つの測度のいずれも質量を与えない点の集合は稠密である。共通の非原子点 $a<b$ に定理 3.2を適用すると、二つの測度は $(a,b)$ 上で一致する。

共通の非原子点 $b$ を固定し、共通の非原子点からなる列 $a_k\to-\infty$ を選ぶ。端点に質量がないため、 $(a_k,b)$ の測度は各分布関数について $F(b)-F(a_k)$ である。§E11.3 命題 2.2の両端における極限から、二つの分布関数は $b$ で一致する。任意の $x$ に対して共通の非原子点 $b_k\downarrow x$ を選び、分布関数の右連続性を用いると、二つの分布関数は $x$ でも一致する。分布関数による一意性§E11.3 定理 2.3により、二つの確率測度は等しい。▨

4 実数上の Lévy の連続性定理

以下では、確率測度 $\mu_n,\mu$ の分布関数をそれぞれ $F_n,F$ とする。記号 $\mu_n\Rightarrow\mu$ は、 $F$ のすべての連続点 $x$ において $F_n(x)\to F(x)$ が成り立つことを表す。分布関数の連続点における収束が、本節における実数上の分布収束の定義である。

最初に、分布関数の収束から有界連続関数の積分の収束を導く。

補題 4.1. $\mu_n\Rightarrow\mu$ とし、 $f:\mathbb R\to\mathbb C$ を有界連続関数とする。このとき、

\int_{\mathbb R}f\,d\mu_n\longrightarrow\int_{\mathbb R}f\,d\mu

である。

証明. $M=\sup_x|f(x)|$ とする。 $M=0$ ならば $f=0$ なので、二つの積分の差も $0$ である。そこで、 $M>0$ とし、 $\varepsilon>0$ を固定する。分布関数の不連続点が高々可算であることは§E11.12 補題 4.1により従う。したがって、 $F$ の連続点である $-R<R$ を選び、

\mu(( -\infty,-R])+\mu((R,\infty))<\varepsilon

とすることができる。 $F_n(\pm R)\to F(\pm R)$ であるから、十分大きい $n$ に対して $\mu_n(( -\infty,-R])+\mu_n((R,\infty))<2\varepsilon$ である。

$f$ は $[-R,R]$ 上で一様連続である。 $F$ の連続点からなる分点 $-R=x_0<x_1<\cdots<x_m=R$ を十分細かく選び、各区間内に代表点 $\xi_j$ を選ぶと、

|f(x)-f(\xi_j)|<\varepsilon \qquad(x\in(x_{j-1},x_j])

とすることができる。さらに、

\mu_n((x_{j-1},x_j]) =F_n(x_j)-F_n(x_{j-1}) \longrightarrow F(x_j)-F(x_{j-1}) =\mu((x_{j-1},x_j])

である。したがって、 $f$ をこの有限個の区間上の階段関数で近似すると、 $[-R,R]$ 上の積分差は $n\to\infty$ で高々 $2\varepsilon$ の上極限をもつ。区間外の積分差は高々 $3M\varepsilon$ である。 $\varepsilon>0$ は任意であるから、積分は収束する。▨

逆向きの証明では、特性関数が原点付近で $1$ に近いことから、確率測度の質量が一様に有界区間へ集まることを示す。

補題 4.2. $\mu$ を確率測度、 $\varphi$ をその特性関数とする。任意の $\delta>0$ に対して

\mu\left(\left\{|x|\geq\frac{2}{\delta}\right\}\right) \leq\frac1\delta\int_{-\delta}^{\delta} \bigl(1-\operatorname{Re}\varphi(t)\bigr)\,dt

が成り立つ。

証明. Tonelli の定理§E9.11 定理 2.3により、右辺は

\int_{\mathbb R}2\left(1-\frac{\sin(\delta x)}{\delta x}\right)\mu(dx)

に等しい。 $x=0$ では括弧内の比を $1$ と解釈する。 $|\delta x|\geq2$ ならば $\sin(\delta x)/(\delta x)\leq1/2$ であるから、被積分関数は $1$ 以上である。したがって、表示した確率は右辺以下である。▨

定理 4.3 (Lévy の連続性定理). $\mu_n$ を実数直線上の Borel 確率測度、 $\varphi_n$ をその特性関数とする。

$\mu_n\Rightarrow\mu$ ならば、すべての $t\in\mathbb R$ に対して $\varphi_n(t)\to\widehat\mu(t)$ である。
ある関数 $\psi:\mathbb R\to\mathbb C$ に対して、すべての $t\in\mathbb R$ で $\varphi_n(t)\to\psi(t)$ が成り立ち、 $\psi$ が $0$ で連続ならば、Borel 確率測度 $\mu$ が一意に存在して $\psi=\widehat\mu$ かつ $\mu_n\Rightarrow\mu$ となる。

証明.(1)を示す。補題 4.1を有界連続関数 $x\mapsto e^{itx}$ に適用すればよい。

(2)を示す。まず $\{\mu_n\}$ が緊密であること、すなわち任意の $\varepsilon>0$ に対してある $R>0$ が存在し、

\sup_n\mu_n(\{|x|\geq R\})<\varepsilon

となることを示す。 $\varphi_n(0)=1$ であるから $\psi(0)=1$ である。 $\psi$ の $0$ における連続性により、 $\delta>0$ を十分小さく選ぶと

A=\frac1\delta\int_{-\delta}^{\delta} \bigl(1-\operatorname{Re}\psi(t)\bigr)\,dt<\varepsilon/2

となる。被積分関数は一様に有界であり、 $\varphi_n(t)\to\psi(t)$ であるから、優収束定理により対応する $A_n$ は $A$ に収束する。したがって、十分大きい $n$ について補題 4.2から

\mu_n(\{|x|\geq2/\delta\})\leq A_n<\varepsilon

である。残る有限個の確率測度については、それぞれの分布関数の両端における極限から、共通の十分大きい半径を選ぶことができる。十分大きい共通半径による尾部確率の評価から緊密性を得る。

次に、任意の部分列 $\{\mu_{n_k}\}$ を固定する。その分布関数を $F_k$ と書く。有理数を $q_1,q_2,\ldots$ と列挙する。 $0\leq F_k(q_1)\leq1$ なので収束部分列を選び、その部分列から $F_k(q_2)$ が収束する部分列を選ぶ。この操作を繰り返して対角部分列を取ると、すべての $q\in\mathbb Q$ について $F_k(q)$ が収束する部分列を得る。添字を改めて同じ $k$ で表し、

g(q)=\lim_{k\to\infty}F_k(q),\qquad G(x)=\inf\{g(q)\mid q\in\mathbb Q,\ q>x\}

と定める。各 $F_k$ の単調性から $g$ と $G$ は非減少である。さらに、 $x_j\downarrow x$ のとき $G(x_j)\downarrow G(x)$ である。実際、極限を $L$ とすると $L\geq G(x)$ であり、任意の $\eta>0$ に対して $q>x$ かつ $g(q)<G(x)+\eta$ となる有理数を選べば、十分大きい $j$ で $x_j<q$ となるため $G(x_j)\leq g(q)<G(x)+\eta$ である。したがって、 $G$ は右連続である。

緊密性から、任意の $\eta>0$ に対して $R>0$ を選び、すべての $k$ について

F_k(-R)\leq\eta,\qquad F_k(R)\geq1-\eta

とすることができる。 $g$ の単調性と有理数の稠密性を用いると、

\lim_{x\to-\infty}G(x)=0,\qquad \lim_{x\to\infty}G(x)=1

を得る。

$G$ は有限実数値、非減少、右連続であるため、Lebesgue–Stieltjes 測度の存在定理§E9.3 定理 7.1により、

\nu((a,b])=G(b)-G(a)

を満たす Borel 測度 $\nu$ が存在する。 $(-m,m]\uparrow\mathbb R$ と $G$ の両端の極限から $\nu(\mathbb R)=1$ である。また、 $(-m,x]\uparrow(-\infty,x]$ と $G(-m)\to0$ から $\nu(( -\infty,x])=G(x)$ である。したがって、 $G$ は $\nu$ の分布関数である。

$x$ を $G$ の連続点とする。任意の $\eta>0$ に対して、有理数 $r<x<s$ を

g(r)>G(x)-\eta,\qquad g(s)<G(x)+\eta

となるように選ぶことができる。第一の選択では $G$ の $x$ における左連続性と $G(y)\leq g(r)$ を用い、第二の選択では $G$ の定義を用いる。単調性から

F_k(r)\leq F_k(x)\leq F_k(s)

であるため、 $k\to\infty$ の後に $\eta\downarrow0$ とすると $F_k(x)\to G(x)$ を得る。ゆえに、この対角部分列は $\nu$ へ分布収束する。

(1)により、この部分列の特性関数は $\widehat\nu$ へ収束する。一方、もとの仮定により同じ特性関数は $\psi$ へ収束するので、 $\widehat\nu=\psi$ である。定理 3.3により、このような部分列極限 $\nu$ は一意である。特に、最初に選んだ部分列に依存しない一つの確率測度を $\mu$ と書くことができる。

最後に全列の収束を示す。 $F$ を $\mu$ の分布関数とし、その連続点 $x$ で $F_n(x)$ が $F(x)$ に収束しないと仮定する。このとき、ある $\varepsilon>0$ と部分列が存在し、その部分列上で $|F_n(x)-F(x)|\geq\varepsilon$ となる。しかし、上で示した対角抽出をこの部分列へ適用すると、さらに $\mu$ へ分布収束する部分列が得られ、 $x$ における不等式に矛盾する。したがって $\mu_n\Rightarrow\mu$ である。存在、一意性、および全列の収束がすべて示された。▨

5 演習

問題 5.1 (問題 1：一様分布の特性関数). $X$ が $[-1,1]$ 上の一様分布に従うとする。 $\varphi_X(t)$ を計算し、 $t=0$ における値を連続延長で定めると命題 1.2と整合することを確かめよ。

問題 5.2 (問題 2：一意性証明における端点条件).定理 3.2で端点に原子がある場合、右辺の極限が

\mu((a,b))+\frac12\mu(\{a\})+\frac12\mu(\{b\})

となることを証明せよ。そのうえで、定理 3.3の証明が共通の非原子点を選ぶ理由を説明せよ。

6 扱った範囲

本記事では、実確率変数の特性関数、共役対称性、一様連続性、二次までの積率展開、独立な和に対する積公式、反転公式、分布の一意性、および実数上の Lévy の連続性定理を証明した。Lévy の連続性定理では、一般空間のコンパクト性定理を用いず、実数直線上の分布関数を有理点で対角化した。正定値関数を特性関数として特徴付ける Bochner の定理、一般の位相群上の調和解析、および一般の Polish 空間に対する Prokhorov の定理は扱っていない。大数の法則と中心極限定理の証明も重複して扱っていない。

§E11.14特性関数と Lévy の連続性定理