§E20.35Monte Carlo 積分

最終更新

[0,1][0,1]上の滑らかな関数の積分に合成台形則を用いると、評価点の個数を増やすにつれて誤差の確定的な上界は区間の等分数の二乗に反比例して小さくなる。しかし、dd次元の立方体上の積分に各座標の節点の直積を用いると、評価点の個数は次元について指数的に増え、d=50d=50では各座標に節点を2個置くだけで約1.126×10151.126\times10^{15}点になる。多次元の積分や、密度をもつ確率分布に関する期待値を求めるには、直積格子を用いない近似が要る。

積分を確率変数の期待値として表すことが、そのような近似を与える。有限な正の体積をもつ集合上の可積分関数の積分は、その集合上の一様分布に従う点での関数値に集合の体積を掛けた確率変数の期待値である。所望の分布に従う独立な標本を生成することができる場合、各標本からこの確率変数の値を作って算術平均をとると、積分の推定量を得る。この推定量を Monte Carlo 推定量という。

標本から作った値の分散が有限ならば、Monte Carlo 推定量の平均二乗誤差は、その分散を標本数で割った値に等しい。したがって、推定の精度は標本数だけでなく値の分散にもよる。たとえば立方体上の座標の積の積分では、平均二乗誤差を積分値の二乗と比べた相対的な大きさが次元とともに指数的に増大し、小さな確率ppの事象の確率を推定する場合には、相対的な二乗平均平方根誤差を0.10.1以下にするためにおよそ100/p100/p個の標本を要する。精度を比べるときには、標本の生成を含む一つの値あたりの費用も同時に考慮する必要がある。

本記事では、Monte Carlo 推定量の誤差の確率的な評価と、標本生成を含む計算費用を扱う。

1 積分の期待値表示

定義 1.1 (一様分布).(Ω,F,P)(\Omega,\mathcal F,P)を確率空間とする。d∈N≥1d\in\NNとし、λ\lambdaをRd\R^d上の Lebesgue 測度、D⊂RdD\subset\R^dを0<λ(D)<∞0<\lambda(D)<\inftyを満たす Lebesgue 可測集合とする。A\mathcal Aを、DDに含まれる Lebesgue 可測集合だけからなるDD上のシグマ加法族とする。写像U ⁣:Ω→DU\colon\Omega\to DがA\mathcal Aに関してDD上の 一様分布 (uniform distribution) に従うとは、任意のA∈AA\in\mathcal Aに対してU−1(A)∈FU^{-1}(A)\in\mathcal Fであり、

P(U∈A)=λ(A)λ(D)P(U\in A)=\frac{\lambda(A)}{\lambda(D)}

が成り立つことをいう。

命題 1.2.(Ω,F,P)(\Omega,\mathcal F,P)を確率空間、(E,E,ρ)(E,\mathcal E,\rho)を測度空間とし、p ⁣:E→[0,∞)p\colon E\to[0,\infty)を∫Ep dρ=1\int_Ep\,d\rho=1を満たす可測関数とする。可測写像X ⁣:(Ω,F)→(E,E)X\colon(\Omega,\mathcal F)\to(E,\mathcal E)が、任意のB∈EB\in\mathcal Eに対して

P(X∈B)=∫Bp dρP(X\in B)=\int_Bp\,d\rho

を満たすとする。h ⁣:E→Rh\colon E\to\Rを∫E∣h∣p dρ<∞\int_E|h|p\,d\rho<\inftyを満たす可測関数とする。このときh(X)h(X)は可積分であり、

E[h(X)]=∫Ehp dρ,E[h(X)2]=∫Eh2p dρE[h(X)]=\int_Ehp\,d\rho,\qquad E[h(X)^2]=\int_Eh^2p\,d\rho

が成り立つ。第二の等式は[0,∞][0,\infty]における等式である。

証明.XXの法則をμ\muと書く。仮定により、任意のB∈EB\in\mathcal Eに対してμ(B)=∫Bp dρ\mu(B)=\int_Bp\,d\rhoである。§E9.15 命題 4.3をg=pg=pとして適用すると、任意の可測関数k ⁣:E→[0,∞]k\colon E\to[0,\infty]に対して

∫Ek dμ=∫Ekp dρ\int_Ek\,d\mu=\int_Ekp\,d\rho

が成り立つ。k=∣h∣k=|h|とすると∫E∣h∣ dμ=∫E∣h∣p dρ<∞\int_E|h|\,d\mu=\int_E|h|p\,d\rho<\inftyであるから、hhはμ\muに関して可積分である。§E9.6 定理 5.3 (2)をT=XT=Xに適用すると、h(X)=h∘Xh(X)=h\circ Xは可積分であり、E[h(X)]=∫Eh dμE[h(X)]=\int_Eh\,d\muである。p≥0p\ge0であるから(hp)+=h+p(hp)^+=h^+p、(hp)−=h−p(hp)^-=h^-pであり、上の等式をk=h+k=h^+とk=h−k=h^-に適用すると、いずれの積分も∫E∣h∣p dρ\int_E|h|p\,d\rho以下の有限値であって

∫Eh dμ=∫Eh+p dρ−∫Eh−p dρ=∫Ehp dρ\int_Eh\,d\mu=\int_Eh^+p\,d\rho-\int_Eh^-p\,d\rho=\int_Ehp\,d\rho

を得る。最後に、§E9.6 定理 5.3 (1)をT=XT=Xと非負関数h2h^2に適用し、上の等式をk=h2k=h^2に適用すると、E[h(X)2]=∫Eh2 dμ=∫Eh2p dρE[h(X)^2]=\int_Eh^2\,d\mu=\int_Eh^2p\,d\rhoを得る。▨

注意 1.3.μ\muを(E,E)(E,\mathcal E)上の確率測度とし、ρ=μ\rho=\mu、p≡1p\equiv1として命題 1.2を適用すると、法則μ\muのXXとμ\muに関して可積分なhhに対してE[h(X)]=∫Eh dμE[h(X)]=\int_Eh\,d\muを得る。

系 1.4.(Ω,F,P)(\Omega,\mathcal F,P)を確率空間とする。d∈N≥1d\in\NNとし、D⊂RdD\subset\R^dを0<λ(D)<∞0<\lambda(D)<\inftyを満たす Lebesgue 可測集合、A\mathcal AをDDに含まれる Lebesgue 可測集合だけからなるDD上のシグマ加法族とし、U ⁣:Ω→DU\colon\Omega\to DはA\mathcal Aに関してDD上の一様分布に従うとする。f ⁣:D→Rf\colon D\to\RをA\mathcal Aに関して可測であり∫D∣f∣ dλ<∞\int_D|f|\,d\lambda<\inftyを満たす関数とし、Y:=λ(D)f(U)Y:=\lambda(D)f(U)と置く。このときYYは可積分であり、

E[Y]=∫Df dλ,E[Y2]=λ(D)∫Df2 dλE[Y]=\int_Df\,d\lambda,\qquad E[Y^2]=\lambda(D)\int_Df^2\,d\lambda

が成り立つ。第二の等式は[0,∞][0,\infty]における等式である。特に、Y∈L2(P)Y\in L^2(P)であることは∫Df2 dλ<∞\int_Df^2\,d\lambda<\inftyと同値であり、このとき

Var⁡(Y)=λ(D)∫Df2 dλ−(∫Df dλ)2\operatorname{Var}(Y)=\lambda(D)\int_Df^2\,d\lambda-\Bigl(\int_Df\,d\lambda\Bigr)^2

である。

証明.DDに含まれる Lebesgue 可測集合全体をLD\mathcal L_D、その上へのλ\lambdaの制限をλD\lambda_Dとし、(D,A)(D,\mathcal A)上の測度ρ\rhoをρ(A):=λ(A)\rho(A):=\lambda(A)で定める。A⊂LD\mathcal A\subset\mathcal L_Dであるから包含写像ι ⁣:(D,LD)→(D,A)\iota\colon(D,\mathcal L_D)\to(D,\mathcal A)は可測であり、ι−1(A)=A\iota^{-1}(A)=Aからι#λD=ρ\iota_{\#}\lambda_D=\rhoである。したがって§E9.6 定理 5.3 (1)と§E9.6 定理 5.3 (2)をT=ιT=\iotaに適用すると、A\mathcal Aに関して可測な関数k ⁣:D→[0,∞]k\colon D\to[0,\infty]とρ\rhoに関して可積分な関数k ⁣:D→Rk\colon D\to\Rに対して

∫Dk dρ=∫Dk dλ\int_Dk\,d\rho=\int_Dk\,d\lambda

が成り立つ。

p≡λ(D)−1p\equiv\lambda(D)^{-1}、h:=λ(D)fh:=\lambda(D)fと置く。∫Dp dρ=ρ(D)/λ(D)=1\int_Dp\,d\rho=\rho(D)/\lambda(D)=1であり、任意のA∈AA\in\mathcal Aに対してP(U∈A)=λ(A)/λ(D)=∫Ap dρP(U\in A)=\lambda(A)/\lambda(D)=\int_Ap\,d\rhoである。さらに∫D∣h∣p dρ=∫D∣f∣ dλ<∞\int_D|h|p\,d\rho=\int_D|f|\,d\lambda<\inftyである。命題 1.2を(E,E,ρ)=(D,A,ρ)(E,\mathcal E,\rho)=(D,\mathcal A,\rho)、X=UX=Uに適用すると、Y=h(U)Y=h(U)は可積分であり、

E[Y]=∫Df dρ=∫Df dλ,E[Y2]=λ(D)∫Df2 dρ=λ(D)∫Df2 dλE[Y]=\int_Df\,d\rho=\int_Df\,d\lambda,\qquad E[Y^2]=\lambda(D)\int_Df^2\,d\rho=\lambda(D)\int_Df^2\,d\lambda

を得る。Y∈L2(P)Y\in L^2(P)ならば、§E11.4 命題 2.3のVar⁡(Y)=E[Y2]−E[Y]2\operatorname{Var}(Y)=E[Y^2]-E[Y]^2に代入して分散の式を得る。▨

注意 1.5.A=LD\mathcal A=\mathcal L_Dとすると、系 1.4は∫D∣f∣ dλ<∞\int_D|f|\,d\lambda<\inftyを満たす任意の Lebesgue 可測関数ffに適用される。DDが Borel 集合であり、V ⁣:Ω→DV\colon\Omega\to Dが確率ベクトルであってDDに含まれる任意の Borel 集合BBに対してP(V∈B)=λ(B)/λ(D)P(V\in B)=\lambda(B)/\lambda(D)を満たすとき、VVはDDに含まれる Borel 集合全体をA\mathcal Aとして一様分布に従い、系 1.4は Borel 可測なffに適用される。このVVについて、Borel 集合でない Lebesgue 可測集合A⊂DA\subset Dの逆像V−1(A)V^{-1}(A)がF\mathcal Fに属することは仮定から従わない。

2 Monte Carlo 推定量と平均二乗誤差

定義 2.1 (Monte Carlo 推定量).(Ω,F,P)(\Omega,\mathcal F,P)を確率空間とし、Y1,Y2,…Y_1,Y_2,\ldotsを独立同分布な実確率変数列とする。n∈N≥1n\in\NNに対して

In:=1n∑i=1nYiI_n:=\frac1n\sum_{i=1}^nY_i

と置き、InI_nを Monte Carlo 推定量 (Monte Carlo estimator)、各YiY_iを 出力 (output)、nnを 標本数 (sample size) という。Y1Y_1が可積分であるときI:=E[Y1]I:=E[Y_1]と置く。Y1∈L2(P)Y_1\in L^2(P)であるとき、E[(In−I)2]E[(I_n-I)^2]をInI_nの 平均二乗誤差 (mean squared error)、その非負の平方根を 二乗平均平方根誤差 (root mean squared error) という。

命題 2.2.(Ω,F,P)(\Omega,\mathcal F,P)を確率空間、(E,E)(E,\mathcal E)を可測空間とし、X1,X2,… ⁣:Ω→EX_1,X_2,\ldots\colon\Omega\to Eを可測写像とする。σ(Xi):={Xi−1(B)∣B∈E}\sigma(X_i):=\{X_i^{-1}(B)\mid B\in\mathcal E\}と置き、部分シグマ加法族の族(σ(Xi))i∈N≥1(\sigma(X_i))_{i\in\NN}は相互独立であり、すべてのi∈N≥1i\in\NNでXiX_iの法則は同じ確率測度μ\muであるとする。h ⁣:E→Rh\colon E\to\Rを可測関数とし、Yi:=h(Xi)Y_i:=h(X_i)と置く。このときY1,Y2,…Y_1,Y_2,\ldotsは独立同分布な実確率変数列である。hhがμ\muに関して可積分ならば、E[Y1]=∫Eh dμE[Y_1]=\int_Eh\,d\muである。

証明.B⊂RB\subset\Rを Borel 集合とする。h−1(B)∈Eh^{-1}(B)\in\mathcal EであるからYi−1(B)=Xi−1(h−1(B))∈σ(Xi)Y_i^{-1}(B)=X_i^{-1}(h^{-1}(B))\in\sigma(X_i)であり、P(Yi∈B)=μ(h−1(B))P(Y_i\in B)=\mu(h^{-1}(B))はiiによらない。よってσ(Yi)⊂σ(Xi)\sigma(Y_i)\subset\sigma(X_i)である。相異なるi1,…,ik∈N≥1i_1,\ldots,i_k\in\NNとAr∈σ(Yir)A_r\in\sigma(Y_{i_r})に対してAr∈σ(Xir)A_r\in\sigma(X_{i_r})であるから、(σ(Xi))i∈N≥1(\sigma(X_i))_{i\in\NN}の相互独立性によりP(⋂r=1kAr)=∏r=1kP(Ar)P\bigl(\bigcap_{r=1}^kA_r\bigr)=\prod_{r=1}^kP(A_r)が成り立つ。§E11.7 定義 1.1によりY1,Y2,…Y_1,Y_2,\ldotsは相互独立である。最後の等式は、命題 1.2をρ=μ\rho=\mu、p≡1p\equiv1、X=X1X=X_1に適用して得られる。▨

補題 2.3.(Ω,F,P)(\Omega,\mathcal F,P)を確率空間とする。Z∈L2(P)Z\in L^2(P)とc∈Rc\in\Rに対して

E[(Z−c)2]=Var⁡(Z)+(E[Z]−c)2E[(Z-c)^2]=\operatorname{Var}(Z)+(E[Z]-c)^2

が成り立つ。

証明. 定数関数ccはL2(P)L^2(P)に属するからZ−c∈L2(P)Z-c\in L^2(P)であり、§E11.4 命題 1.2によりE[Z−c]=E[Z]−cE[Z-c]=E[Z]-cである。§E11.4 命題 2.3によりVar⁡(Z−c)=E[(Z−c)2]−(E[Z]−c)2\operatorname{Var}(Z-c)=E[(Z-c)^2]-(E[Z]-c)^2かつVar⁡(Z−c)=Var⁡(Z)\operatorname{Var}(Z-c)=\operatorname{Var}(Z)であるから、主張の等式を得る。▨

定理 2.4.Y1,Y2,…Y_1,Y_2,\ldotsを独立同分布な実確率変数列とし、n∈N≥1n\in\NNに対してIn:=n−1∑i=1nYiI_n:=n^{-1}\sum_{i=1}^nY_iと置く。

  1. Y1Y_1が可積分でありI:=E[Y1]I:=E[Y_1]ならば、任意のn∈N≥1n\in\NNに対してE[In]=IE[I_n]=Iである。
  2. Y1∈L2(P)Y_1\in L^2(P)でありI:=E[Y1]I:=E[Y_1]、σ2:=Var⁡(Y1)\sigma^2:=\operatorname{Var}(Y_1)ならば、任意のn∈N≥1n\in\NNに対して Var⁡(In)=σ2n,E[(In−I)2]=σ2n,(E[(In−I)2])1/2=σn\operatorname{Var}(I_n)=\frac{\sigma^2}n,\qquad E[(I_n-I)^2]=\frac{\sigma^2}n,\qquad \bigl(E[(I_n-I)^2]\bigr)^{1/2}=\frac{\sigma}{\sqrt n} が成り立つ。ここでσ:=(σ2)1/2\sigma:=(\sigma^2)^{1/2}であり、σ2=0\sigma^2=0の場合も含む。
  3. Y1Y_1が可積分でありI:=E[Y1]I:=E[Y_1]ならば、任意のε>0\ep>0に対してP(∣In−I∣>ε)→0P(|I_n-I|>\ep)\to0(n→∞)(n\to\infty)である。

証明.(1)とVar⁡(In)=σ2/n\operatorname{Var}(I_n)=\sigma^2/nは、§E14.2 命題 1.5をY1,…,YnY_1,\ldots,Y_nに適用して得られる。InI_nはL2(P)L^2(P)の元の有限一次結合であるからIn∈L2(P)I_n\in L^2(P)であり、補題 2.3をZ=InZ=I_n、c=Ic=Iに適用すると、E[In]=IE[I_n]=IからE[(In−I)2]=Var⁡(In)=σ2/nE[(I_n-I)^2]=\operatorname{Var}(I_n)=\sigma^2/nである。その非負の平方根はσ/n\sigma/\sqrt nである。(3)は§E14.2 定理 4.1をY1,Y2,…Y_1,Y_2,\ldotsに適用して得られる。▨

命題 2.5.Y~1,Y~2,…\tilde Y_1,\tilde Y_2,\ldotsを独立同分布なL2(P)L^2(P)確率変数列とし、I~:=E[Y~1]\tilde I:=E[\tilde Y_1]、σ~2:=Var⁡(Y~1)\tilde\sigma^2:=\operatorname{Var}(\tilde Y_1)、I~n:=n−1∑i=1nY~i\tilde I_n:=n^{-1}\sum_{i=1}^n\tilde Y_iと置く。I∈RI\in\Rとする。

  1. 任意のn∈N≥1n\in\NNに対して E[(I~n−I)2]=σ~2n+(I~−I)2E[(\tilde I_n-I)^2]=\frac{\tilde\sigma^2}n+(\tilde I-I)^2 が成り立つ。特にE[(I~n−I)2]E[(\tilde I_n-I)^2]はnnについて単調非増加であり、n→∞n\to\inftyのとき(I~−I)2(\tilde I-I)^2に収束する。
  2. ε>0\ep>0とn∈N≥1n\in\NNに対して、E[(I~n−I)2]≤ε2E[(\tilde I_n-I)^2]\le\ep^2であることはσ~2≤n(ε2−(I~−I)2)\tilde\sigma^2\le n\bigl(\ep^2-(\tilde I-I)^2\bigr)と同値である。

証明.定理 2.4 (1)と定理 2.4 (2)をY~1,Y~2,…\tilde Y_1,\tilde Y_2,\ldotsに適用するとE[I~n]=I~E[\tilde I_n]=\tilde I、Var⁡(I~n)=σ~2/n\operatorname{Var}(\tilde I_n)=\tilde\sigma^2/nである。補題 2.3をZ=I~nZ=\tilde I_n、c=Ic=Iに適用すると(1)の等式を得る。σ~2/n\tilde\sigma^2/nはnnについて単調非増加で00に収束するから、残りの主張も従う。(2)は、(1)の等式の両辺にn>0n>0を掛けて移項して得られる。▨

注意 2.6.e,d∈N≥1e,d\in\NNとし、V1,V2,…V_1,V_2,\ldotsをRe\R^eに値をとる確率ベクトルであって、(σ(Vi))i∈N≥1(\sigma(V_i))_{i\in\NN}が相互独立であり、すべてのViV_iの法則が等しいものとする。Borel 可測写像G,G~ ⁣:Re→RdG,\tilde G\colon\R^e\to\R^dと Borel 可測関数h ⁣:Rd→Rh\colon\R^d\to\Rをとり、h(G(V1))h(G(V_1))とh(G~(V1))h(\tilde G(V_1))はともにL2(P)L^2(P)に属するとする。GGが理想的な変換、G~\tilde Gが有限格子や求根による近似である場合がこの設定に当たる。命題 2.2により、Yi:=h(G(Vi))Y_i:=h(G(V_i))とY~i:=h(G~(Vi))\tilde Y_i:=h(\tilde G(V_i))はそれぞれ独立同分布な列である。I:=E[Y1]I:=E[Y_1]、I~:=E[Y~1]\tilde I:=E[\tilde Y_1]と置き、あるβ≥0\beta\ge0についてすべてのv∈Rev\in\R^eで∣h(G~(v))−h(G(v))∣≤β|h(\tilde G(v))-h(G(v))|\le\betaが成り立つならば、§E11.4 命題 1.2と積分の単調性から∣I~−I∣≤E[∣Y~1−Y1∣]≤β|\tilde I-I|\le E[|\tilde Y_1-Y_1|]\le\betaであり、命題 2.5 (1)によりE[(I~n−I)2]≤σ~2/n+β2E[(\tilde I_n-I)^2]\le\tilde\sigma^2/n+\beta^2である。

3 有限標本の確率上界

定理 3.1.Y1,Y2,…Y_1,Y_2,\ldotsを独立同分布なL2(P)L^2(P)確率変数列とし、I:=E[Y1]I:=E[Y_1]、σ2:=Var⁡(Y1)\sigma^2:=\operatorname{Var}(Y_1)、In:=n−1∑i=1nYiI_n:=n^{-1}\sum_{i=1}^nY_iと置く。実数vvはv≥σ2v\ge\sigma^2を満たすとする。

  1. 任意のn∈N≥1n\in\NNとε>0\ep>0に対して P(∣In−I∣≥ε)≤σ2nε2≤vnε2P(|I_n-I|\ge\ep)\le\frac{\sigma^2}{n\ep^2}\le\frac v{n\ep^2} が成り立つ。
  2. ε>0\ep>0、0<δ<10<\delta<1とし、n∈N≥1n\in\NNはn≥v/(δε2)n\ge v/(\delta\ep^2)を満たすとする。このときP(∣In−I∣≥ε)≤δP(|I_n-I|\ge\ep)\le\deltaである。この条件を満たす最小のn∈N≥1n\in\NNはmax⁡{1,⌈v/(δε2)⌉}\max\{1,\lceil v/(\delta\ep^2)\rceil\}である。v=0v=0ならば、任意のn∈N≥1n\in\NNに対してP(∣In−I∣≥ε)=0P(|I_n-I|\ge\ep)=0である。

証明.(1)を示す。In∈L2(P)I_n\in L^2(P)であり、定理 2.4によりE[In]=IE[I_n]=I、Var⁡(In)=σ2/n\operatorname{Var}(I_n)=\sigma^2/nである。§E11.4 系 3.2をX=InX=I_n、t=εt=\epに適用すると第一の不等式を得る。σ2≤v\sigma^2\le vから第二の不等式を得る。

(2)を示す。n≥v/(δε2)n\ge v/(\delta\ep^2)ならばv/(nε2)≤δv/(n\ep^2)\le\deltaであるから、(1)によりP(∣In−I∣≥ε)≤δP(|I_n-I|\ge\ep)\le\deltaである。n≥v/(δε2)n\ge v/(\delta\ep^2)を満たすn∈N≥1n\in\NNの全体はn≥max⁡{1,⌈v/(δε2)⌉}n\ge\max\{1,\lceil v/(\delta\ep^2)\rceil\}を満たす整数の全体である。v=0v=0ならば(1)の右辺は00である。▨

定理 3.2.Y1,Y2,…Y_1,Y_2,\ldotsを独立同分布な実確率変数列とし、実数ℓ≤u\ell\le uはP(ℓ≤Y1≤u)=1P(\ell\le Y_1\le u)=1を満たすとする。I:=E[Y1]I:=E[Y_1]、In:=n−1∑i=1nYiI_n:=n^{-1}\sum_{i=1}^nY_iと置く。

  1. ℓ<u\ell<uならば、任意のn∈N≥1n\in\NNとε>0\ep>0に対して P(∣In−I∣≥ε)≤2exp⁡ ⁣(−2nε2(u−ℓ)2)P(|I_n-I|\ge\ep)\le2\exp\!\left(-\frac{2n\ep^2}{(u-\ell)^2}\right) が成り立つ。
  2. ℓ<u\ell<u、ε>0\ep>0、0<δ<10<\delta<1とし、n∈N≥1n\in\NNは n≥(u−ℓ)22ε2log⁡2δn\ge\frac{(u-\ell)^2}{2\ep^2}\log\frac2\delta を満たすとする。このときP(∣In−I∣≥ε)≤δP(|I_n-I|\ge\ep)\le\deltaである。
  3. ℓ=u\ell=uならば、任意のn∈N≥1n\in\NNに対してP(In=I)=1P(I_n=I)=1である。

証明.Y1Y_1はほとんど確実に有界であるから可積分であり、IIは定まる。各YiY_iの法則はY1Y_1の法則に等しいからP(ℓ≤Yi≤u)=1P(\ell\le Y_i\le u)=1である。n∈N≥1n\in\NNを固定し、§E11.18 定理 3.1を独立なY1,…,YnY_1,\ldots,Y_nとai=ℓa_i=\ell、bi=ub_i=uに適用する。このときV=n(u−ℓ)2V=n(u-\ell)^2であり、Tn=∑i=1n(Yi−E[Yi])=n(In−I)T_n=\sum_{i=1}^n(Y_i-E[Y_i])=n(I_n-I)である。

(1)を示す。ℓ<u\ell<uならばV>0V>0であり、{∣In−I∣≥ε}={∣Tn∣≥nε}\{|I_n-I|\ge\ep\}=\{|T_n|\ge n\ep\}に両側の評価を適用すると

P(∣In−I∣≥ε)≤2exp⁡ ⁣(−2n2ε2n(u−ℓ)2)=2exp⁡ ⁣(−2nε2(u−ℓ)2)P(|I_n-I|\ge\ep)\le2\exp\!\left(-\frac{2n^2\ep^2}{n(u-\ell)^2}\right)=2\exp\!\left(-\frac{2n\ep^2}{(u-\ell)^2}\right)

を得る。

(2)を示す。nnに関する仮定は2nε2/(u−ℓ)2≥log⁡(2/δ)2n\ep^2/(u-\ell)^2\ge\log(2/\delta)と同値であるから、(1)の右辺は2exp⁡(−log⁡(2/δ))=δ2\exp(-\log(2/\delta))=\delta以下である。

(3)を示す。ℓ=u\ell=uならばV=0V=0であるから、Tn=0T_n=0、すなわちIn=II_n=Iがほとんど確実に成り立つ。▨

補題 3.3.(Ω,F,P)(\Omega,\mathcal F,P)を確率空間とし、実数ℓ≤u\ell\le uと実確率変数YYがP(ℓ≤Y≤u)=1P(\ell\le Y\le u)=1を満たすとする。このときY∈L2(P)Y\in L^2(P)であり、Var⁡(Y)≤(u−ℓ)2/4\operatorname{Var}(Y)\le(u-\ell)^2/4である。

証明. 演習とする(問題 8.1)。▨

例 3.4.Y1,Y2,…Y_1,Y_2,\ldotsを独立同分布な実確率変数列とし、P(0≤Y1≤1)=1P(0\le Y_1\le1)=1とする。I:=E[Y1]I:=E[Y_1]、In:=n−1∑i=1nYiI_n:=n^{-1}\sum_{i=1}^nY_iと置き、ε>0\ep>0、0<δ<10<\delta<1とする。

  1. 補題 3.3によりVar⁡(Y1)≤1/4\operatorname{Var}(Y_1)\le1/4であるから、定理 3.1 (2)をv=1/4v=1/4として適用すると、n≥1/(4δε2)n\ge1/(4\delta\ep^2)ならばP(∣In−I∣≥ε)≤δP(|I_n-I|\ge\ep)\le\deltaである。定理 3.2 (2)をℓ=0\ell=0、u=1u=1として適用すると、n≥log⁡(2/δ)/(2ε2)n\ge\log(2/\delta)/(2\ep^2)ならば同じ不等式が成り立つ。二つの十分条件の右辺の比は log⁡(2/δ)/(2ε2)1/(4δε2)=2δlog⁡2δ\frac{\log(2/\delta)/(2\ep^2)}{1/(4\delta\ep^2)}=2\delta\log\frac2\delta である。δ=0.05\delta=0.05のときこの比は約0.3690.369であり、ε=0.01\ep=0.01に対して十分条件は Chebyshev 評価でn≥50000n\ge50000、Hoeffding 評価でn≥18445n\ge18445である。δ=0.5\delta=0.5のときこの比は約1.3861.386であり、ε=0.01\ep=0.01に対して十分条件は Chebyshev 評価でn≥5000n\ge5000、Hoeffding 評価でn≥6932n\ge6932である。
  2. 分散の上界v=0.01v=0.01が別に分かっているとき、定理 3.1 (2)により、δ=0.05\delta=0.05、ε=0.01\ep=0.01に対してn≥2000n\ge2000でP(∣In−I∣≥ε)≤δP(|I_n-I|\ge\ep)\le\deltaである。この十分条件は、値域[0,1][0,1]だけを用いた(1)のいずれの十分条件よりも小さい。

4 標本分散による漸近区間

定理 4.1.Y1,Y2,…Y_1,Y_2,\ldotsを独立同分布なL2(P)L^2(P)確率変数列とし、I:=E[Y1]I:=E[Y_1]、σ2:=Var⁡(Y1)\sigma^2:=\operatorname{Var}(Y_1)、In:=n−1∑i=1nYiI_n:=n^{-1}\sum_{i=1}^nY_iと置く。整数n≥2n\ge2に対して

Sn2:=1n−1∑i=1n(Yi−In)2,Sn:=(Sn2)1/2S_n^2:=\frac1{n-1}\sum_{i=1}^n(Y_i-I_n)^2,\qquad S_n:=(S_n^2)^{1/2}

と置く。Φ\Phiを標準正規分布の分布関数とし、0<δ<10<\delta<1に対してz∈Rz\in\RをΦ(z)=1−δ/2\Phi(z)=1-\delta/2を満たす実数とする。整数n≥2n\ge2に対して閉区間

Cn:=[In−zSnn, In+zSnn]C_n:=\Bigl[I_n-\frac{zS_n}{\sqrt n},\ I_n+\frac{zS_n}{\sqrt n}\Bigr]

を定める。

  1. 任意の整数n≥2n\ge2に対してE[Sn2]=σ2E[S_n^2]=\sigma^2であり、n→∞n\to\inftyのときSn2→Pσ2S_n^2\xrightarrow{P}\sigma^2である。
  2. σ2>0\sigma^2>0ならば、n→∞n\to\inftyのときP(I∈Cn)→1−δP(I\in C_n)\to1-\deltaである。
  3. σ2=0\sigma^2=0ならば、任意の整数n≥2n\ge2に対してP(I∈Cn)=1P(I\in C_n)=1である。

証明. 標準正規分布の密度x↦(2π)−1/2e−x2/2x\mapsto(2\pi)^{-1/2}e^{-x^2/2}は正値かつ偶関数であるから、Φ\Phiは連続かつ狭義単調増加であり、すべてのx∈Rx\in\RでΦ(−x)=1−Φ(x)\Phi(-x)=1-\Phi(x)を満たす。したがってzzはただ一つ定まる。

(1)を示す。§E14.2 命題 1.6と§E14.2 命題 5.3をY1,Y2,…Y_1,Y_2,\ldotsに適用すると主張を得る。

(2)を示す。σ2>0\sigma^2>0とする。整数n≥2n\ge2に対して、Sn>0S_n>0の事象上でRn:=n(In−I)/SnR_n:=\sqrt n(I_n-I)/S_n、Sn=0S_n=0の事象上でRn:=0R_n:=0と置く。§E14.2 命題 5.3によりRn→dN(0,1)R_n\xrightarrow{d}N(0,1)である。Φ\Phiはすべての点で連続であるから、任意のx∈Rx\in\Rに対してP(Rn≤x)→Φ(x)P(R_n\le x)\to\Phi(x)である。η>0\eta>0に対して

P(Rn≤−z−η)≤P(Rn<−z)≤P(Rn≤−z)P(R_n\le-z-\eta)\le P(R_n<-z)\le P(R_n\le-z)

であるから、Φ(−z−η)≤lim inf⁡nP(Rn<−z)≤lim sup⁡nP(Rn<−z)≤Φ(−z)\Phi(-z-\eta)\le\liminf_nP(R_n<-z)\le\limsup_nP(R_n<-z)\le\Phi(-z)であり、η↓0\eta\downarrow0としてΦ\Phiの連続性からP(Rn<−z)→Φ(−z)P(R_n<-z)\to\Phi(-z)を得る。したがって

P(∣Rn∣≤z)=P(Rn≤z)−P(Rn<−z)→Φ(z)−Φ(−z)=2Φ(z)−1=1−δP(|R_n|\le z)=P(R_n\le z)-P(R_n<-z)\to\Phi(z)-\Phi(-z)=2\Phi(z)-1=1-\delta

である。Sn>0S_n>0の事象上では、I∈CnI\in C_nであることは∣In−I∣≤zSn/n|I_n-I|\le zS_n/\sqrt n、すなわち∣Rn∣≤z|R_n|\le zと同値である。よって事象{I∈Cn}\{I\in C_n\}と{∣Rn∣≤z}\{|R_n|\le z\}は{Sn=0}\{S_n=0\}の外で一致し、

∣P(I∈Cn)−P(∣Rn∣≤z)∣≤P(Sn=0)\bigl|P(I\in C_n)-P(|R_n|\le z)\bigr|\le P(S_n=0)

である。{Sn=0}⊂{∣Sn2−σ2∣>σ2/2}\{S_n=0\}\subset\{|S_n^2-\sigma^2|>\sigma^2/2\}であり、(1)により右辺の事象の確率は00に収束する。したがってP(I∈Cn)→1−δP(I\in C_n)\to1-\deltaである。

(3)を示す。σ2=0\sigma^2=0とする。各iiについてYiY_iの法則はY1Y_1の法則に等しいからVar⁡(Yi)=0\operatorname{Var}(Y_i)=0であり、§E11.4 系 3.2により任意のk∈N≥1k\in\NNに対してP(∣Yi−I∣≥1/k)=0P(|Y_i-I|\ge1/k)=0である。kkについて和事象をとるとP(Yi≠I)=0P(Y_i\ne I)=0である。よってIn=II_n=Iがほとんど確実に成り立つ。zSn/n≥0zS_n/\sqrt n\ge0であるからIn∈CnI_n\in C_nであり、P(I∈Cn)=1P(I\in C_n)=1を得る。▨

注意 4.2.定理 4.1の設定でn≥2n\ge2を固定する。Y1Y_1の法則を固定し、θ∈R\theta\in\Rに対してPθP_\thetaを(Y1−I+θ,…,Yn−I+θ)(Y_1-I+\theta,\ldots,Y_n-I+\theta)のRn\R^n上の法則とする。x∈Rnx\in\R^nに対してxˉ:=n−1∑i=1nxi\bar x:=n^{-1}\sum_{i=1}^nx_i、s(x):=((n−1)−1∑i=1n(xi−xˉ)2)1/2s(x):=\bigl((n-1)^{-1}\sum_{i=1}^n(x_i-\bar x)^2\bigr)^{1/2}、C(x):=[xˉ−zs(x)/n, xˉ+zs(x)/n]C(x):=[\bar x-zs(x)/\sqrt n,\ \bar x+zs(x)/\sqrt n]と置くと、C(x)C(x)は空でない閉区間であり、xˉ\bar xとssは連続であるから{x∣θ∈C(x)}\{x\mid\theta\in C(x)\}は閉集合である。すべての座標に同じ実数を加えるとxˉ\bar xはその実数だけずれ、s(x)s(x)は変わらないので、§E14.18 定義 1.1の意味の被覆確率Pθ({x∣θ∈C(x)})P_\theta(\{x\mid\theta\in C(x)\})は、すべてのθ\thetaにおいてP(I∈Cn)P(I\in C_n)に等しい。定理 4.1 (2)はこの被覆確率の極限を与え、命題 5.2 (1)は固定したnnで被覆確率が1−δ1-\deltaより小さくなる出力の法則を与える。区間の幅2zSn/n2zS_n/\sqrt nは標本から計算される確率変数であり、定理 3.1と定理 3.2が用いるvv、ℓ\ell、uuは標本によらない実数である。

5 希少事象

例 5.1.d∈N≥1d\in\NNとし、D⊂RdD\subset\R^dを0<λ(D)<∞0<\lambda(D)<\inftyを満たす Lebesgue 可測集合、A\mathcal AをDDに含まれる Lebesgue 可測集合だけからなるDD上のシグマ加法族とする。U1,U2,… ⁣:Ω→DU_1,U_2,\ldots\colon\Omega\to DはそれぞれA\mathcal Aに関してDD上の一様分布に従い、(σ(Ui))i∈N≥1(\sigma(U_i))_{i\in\NN}は相互独立であるとする。ここでσ(Ui):={Ui−1(A)∣A∈A}\sigma(U_i):=\{U_i^{-1}(A)\mid A\in\mathcal A\}である。A∈AA\in\mathcal Aと0<p<10<p<1はλ(A)=pλ(D)\lambda(A)=p\lambda(D)を満たすとし、Yi:=1A(Ui)Y_i:=\mathbf 1_A(U_i)、In:=n−1∑i=1nYiI_n:=n^{-1}\sum_{i=1}^nY_iと置き、整数n≥2n\ge2に対してSnS_nを定理 4.1と同じく定める。たとえばD=(0,1]dD=(0,1]^d、A=(0,a]dA=(0,a]^d(0<a<10<a<1)とするとp=adp=a^dである。

  1. すべてのUiU_iの法則はA′↦λ(A′)/λ(D)A'\mapsto\lambda(A')/\lambda(D)(A′∈A)(A'\in\mathcal A)に等しいから、命題 2.2によりY1,Y2,…Y_1,Y_2,\ldotsは独立同分布である。P(Y1=1)=P(U1∈A)=pP(Y_1=1)=P(U_1\in A)=p、P(Y1=0)=1−pP(Y_1=0)=1-pであり、Y12=Y1Y_1^2=Y_1からE[Y1]=E[Y12]=pE[Y_1]=E[Y_1^2]=p、§E11.4 命題 2.3によりVar⁡(Y1)=p(1−p)\operatorname{Var}(Y_1)=p(1-p)である。定理 2.4 (2)により E[(In−p)2]=p(1−p)n,E[(In−p)2]p2=1−pnpE[(I_n-p)^2]=\frac{p(1-p)}n,\qquad\frac{E[(I_n-p)^2]}{p^2}=\frac{1-p}{np} である。相対的な二乗平均平方根誤差(E[(In−p)2])1/2/p\bigl(E[(I_n-p)^2]\bigr)^{1/2}/pがr>0r>0以下であることはn≥(1−p)/(pr2)n\ge(1-p)/(pr^2)と同値である。p=10−6p=10^{-6}、r=0.1r=0.1では、この条件はn≥108−100n\ge10^8-100である。
  2. 事象E0:={Y1=⋯=Yn=0}E_0:=\{Y_1=\cdots=Y_n=0\}の確率は、{Yi=0}∈σ(Yi)\{Y_i=0\}\in\sigma(Y_i)と相互独立性から(1−p)n(1-p)^nである。E0E_0上ではIn=0I_n=0であり、n≥2n\ge2ならばSn=0S_n=0である。E0E_0上で相対誤差∣In−p∣/p|I_n-p|/pは11に等しい。0<y0<yに対するlog⁡y≤y−1\log y\le y-1をy=1−py=1-pとy=1/(1−p)y=1/(1-p)に適用すると−p/(1−p)≤log⁡(1−p)≤−p-p/(1-p)\le\log(1-p)\le-pであるから、 e−np/(1−p)≤(1−p)n≤e−npe^{-np/(1-p)}\le(1-p)^n\le e^{-np} である。p=10−6p=10^{-6}、n=106n=10^6ではこの確率はe−1/(1−10−6)e^{-1/(1-10^{-6})}以上e−1e^{-1}以下であり、約0.3680.368である。

命題 5.2.0<p<10<p<1とし、Y1,Y2,…Y_1,Y_2,\ldotsを独立同分布な実確率変数列でP(Y1=1)=pP(Y_1=1)=p、P(Y1=0)=1−pP(Y_1=0)=1-pを満たすものとする。整数n≥2n\ge2に対してInI_n、SnS_nを定理 4.1のとおりに定め、0<δ<10<\delta<1とする。

  1. 任意の実数c≥0c\ge0に対して P(p∈[In−cSn, In+cSn])≤1−(1−p)nP\bigl(p\in[I_n-cS_n,\ I_n+cS_n]\bigr)\le1-(1-p)^n が成り立つ。特にp<1−δ1/np<1-\delta^{1/n}ならば、左辺は1−δ1-\deltaより小さい。
  2. 実数v>0v>0がv≥p(1−p)v\ge p(1-p)を満たすならば、 P(p∈[In−vδn, In+vδn])≥1−δP\Bigl(p\in\Bigl[I_n-\sqrt{\frac v{\delta n}},\ I_n+\sqrt{\frac v{\delta n}}\Bigr]\Bigr)\ge1-\delta が成り立つ。

証明.(1)を示す。E0:={Y1=⋯=Yn=0}E_0:=\{Y_1=\cdots=Y_n=0\}と置く。例 5.1 (2)と同じく、P(E0)=(1−p)nP(E_0)=(1-p)^nであり、E0E_0上ではIn=0I_n=0、Sn=0S_n=0であるから区間[In−cSn,In+cSn][I_n-cS_n,I_n+cS_n]は{0}\{0\}に等しい。p≠0p\ne0であるからE0⊂{p∉[In−cSn,In+cSn]}E_0\subset\{p\notin[I_n-cS_n,I_n+cS_n]\}であり、主張の不等式を得る。p<1−δ1/np<1-\delta^{1/n}ならば(1−p)n>δ(1-p)^n>\deltaであるから、右辺は1−δ1-\deltaより小さい。

(2)を示す。Var⁡(Y1)=p(1−p)≤v\operatorname{Var}(Y_1)=p(1-p)\le vである。ε:=v/(δn)\ep:=\sqrt{v/(\delta n)}と置くとn=v/(δε2)n=v/(\delta\ep^2)であるから、定理 3.1 (2)によりP(∣In−p∣≥ε)≤δP(|I_n-p|\ge\ep)\le\deltaである。{∣In−p∣<ε}\{|I_n-p|<\ep\}はppが主張の閉区間に属する事象に含まれるから、主張を得る。▨

注意 5.3.c=z/nc=z/\sqrt nとした命題 5.2 (1)の区間は定理 4.1のCnC_nであり、c=1/δnc=1/\sqrt{\delta n}とした命題 5.2 (1)の区間は命題 5.2 (2)の区間でvvをSn2S_n^2に置き換えたものである。命題 5.2 (1)のppはnnに応じて選ばれており、ppを固定すると(1−p)n→0(1-p)^n\to0(n→∞)(n\to\infty)である。

6 標本生成を含む費用

命題 6.1.n∈N≥1n\in\NNとし、c0,cf,ca≥0c_0,c_f,c_a\ge0を実数とする。InI_nの計算は、前処理を1回、出力の元になる標本の生成をnn個、関数hhの評価をnn回、n−1n-1回の加算と1回の除算を行うものとし、前処理の費用をc0c_0、hhの評価1回の費用をcfc_f、加算または除算1回の費用をcac_aとする。

  1. 標本1個の生成費用が定数cs≥0c_s\ge0であるとき、InI_nの計算費用はc0+n(cs+cf+ca)c_0+n(c_s+c_f+c_a)である。
  2. d∈N≥1d\in\NNとし、q,g ⁣:Rd→[0,∞)q,g\colon\R^d\to[0,\infty)、M>0M>0、確率ベクトルZkZ_kと確率変数VkV_k(k∈N≥1)(k\in\NN)は、§E20.34 定理 2.2のf,g,M,Yk,Vkf,g,M,Y_k,V_kに対する仮定をf=qf=q、Yk=ZkY_k=Z_kとして満たすとし、同定理のTsT_s、XsX_s(s∈N≥1)(s\in\NN)を用いる。h ⁣:Rd→Rh\colon\R^d\to\Rは Borel 可測であり∫Rd∣h(x)∣q(x) dx<∞\int_{\R^d}|h(x)|q(x)\,dx<\inftyを満たすとする。このときh(X1),h(X2),…h(X_1),h(X_2),\ldotsは独立同分布であり、E[h(X1)]=∫Rdh(x)q(x) dxE[h(X_1)]=\int_{\R^d}h(x)q(x)\,dxである。試行1回の費用が定数c≥0c\ge0であるとき、h(X1),…,h(Xn)h(X_1),\ldots,h(X_n)からInI_nを計算する費用Wn:=c0+cTn+n(cf+ca)W_n:=c_0+cT_n+n(c_f+c_a)は確率変数であり、 E[Wn]=c0+nMc+n(cf+ca)E[W_n]=c_0+nMc+n(c_f+c_a) が成り立つ。
  3. (2)の設定でM>1M>1、c>0c>0ならば、任意の実数wwに対してP(Wn>w)>0P(W_n>w)>0である。

証明.(1)を示す。費用は前処理のc0c_0、生成のncsnc_s、評価のncfnc_f、加算と除算の(n−1)ca+ca(n-1)c_a+c_aの和である。

(2)を示す。§E20.34 定理 2.2 (3)により、各r∈N≥1r\in\NNに対してσ(X1),…,σ(Xr)\sigma(X_1),\ldots,\sigma(X_r)は相互独立であり、各XsX_sは密度qqをもつ。相異なる有限個の添字はある{1,…,r}\{1,\ldots,r\}に含まれるから、§E11.7 定義 1.1により(σ(Xs))s∈N≥1(\sigma(X_s))_{s\in\NN}は相互独立である。各XsX_sの法則は Borel 集合BBに∫Bq(x) dx\int_Bq(x)\,dxを対応させる確率測度μ\muである。命題 2.2によりh(X1),h(X2),…h(X_1),h(X_2),\ldotsは独立同分布である。命題 1.2をRd\R^dの Borel 集合族上の Lebesgue 測度ρ\rho、p=qp=q、X=X1X=X_1に適用すると、E[h(X1)]=∫Rdh(x)q(x) dxE[h(X_1)]=\int_{\R^d}h(x)q(x)\,dxである。§E20.34 定理 2.2 (2)によりTnT_nは確率変数であり、WnW_nも確率変数である。§E20.34 定理 2.2 (4)によりE[Tn]=nME[T_n]=nMであるから、§E11.4 命題 1.2によりE[Wn]=c0+nMc+n(cf+ca)E[W_n]=c_0+nMc+n(c_f+c_a)である。

(3)を示す。k∈N≥1k\in\NNとする。§E20.34 定理 2.2 (2)をr=1r=1、B1=RdB_1=\R^dとして適用すると、j∈N≥1j\in\NNに対してP(T1=j)=(1−1/M)j−1M−1P(T_1=j)=(1-1/M)^{j-1}M^{-1}であるから

P(T1>k)=∑j=k+1∞(1−1M)j−11M=(1−1M)k>0P(T_1>k)=\sum_{j=k+1}^\infty\Bigl(1-\frac1M\Bigr)^{j-1}\frac1M=\Bigl(1-\frac1M\Bigr)^k>0

である。T1,T2,…T_1,T_2,\ldotsの定義に用いた集合K(ω)K(\omega)が無限集合となる事象は確率11であり(§E20.34 定理 2.2 (2))、その事象上ではTn≥T1T_n\ge T_1である。よってP(Tn>k)≥P(T1>k)>0P(T_n>k)\ge P(T_1>k)>0である。実数wwに対してk∈N≥1k\in\NNをck≥w−c0−n(cf+ca)ck\ge w-c_0-n(c_f+c_a)を満たすようにとると、{Tn>k}⊂{Wn>w}\{T_n>k\}\subset\{W_n>w\}であるからP(Wn>w)>0P(W_n>w)>0である。▨

注意 6.2.定理 2.4 (2)により、σ2>0\sigma^2>0とε>0\ep>0に対してE[(In−I)2]≤ε2E[(I_n-I)^2]\le\ep^2を満たす最小のn∈N≥1n\in\NNは⌈σ2/ε2⌉\lceil\sigma^2/\ep^2\rceilである。出力1個あたりの期待費用をκ\kappaとすると、このnnに対する期待仕事量はc0+⌈σ2/ε2⌉κc_0+\lceil\sigma^2/\ep^2\rceil\kappaであり、命題 6.1 (1)ではκ=cs+cf+ca\kappa=c_s+c_f+c_a、命題 6.1 (2)ではκ=Mc+cf+ca\kappa=Mc+c_f+c_aである。κ≥0\kappa\ge0と⌈x⌉<x+1\lceil x\rceil<x+1からσ2κ/ε2≤⌈σ2/ε2⌉κ≤σ2κ/ε2+κ\sigma^2\kappa/\ep^2\le\lceil\sigma^2/\ep^2\rceil\kappa\le\sigma^2\kappa/\ep^2+\kappaである。同じIIを与え、分散と期待費用がそれぞれσ12,κ1\sigma_1^2,\kappa_1とσ22,κ2\sigma_2^2,\kappa_2である二つの出力がσ12κ1<σ22κ2\sigma_1^2\kappa_1<\sigma_2^2\kappa_2を満たすとき、ε2κ1<σ22κ2−σ12κ1\ep^2\kappa_1<\sigma_2^2\kappa_2-\sigma_1^2\kappa_1を満たす任意のε>0\ep>0に対して、上の両側の評価から⌈σ12/ε2⌉κ1<⌈σ22/ε2⌉κ2\lceil\sigma_1^2/\ep^2\rceil\kappa_1<\lceil\sigma_2^2/\ep^2\rceil\kappa_2である。固定したε\epではこの順序は積σ2κ\sigma^2\kappaの順序と一致するとは限らず、σ12=1.1\sigma_1^2=1.1、κ1=1\kappa_1=1、σ22=0.6\sigma_2^2=0.6、κ2=1.9\kappa_2=1.9、ε=1\ep=1ではσ12κ1<σ22κ2\sigma_1^2\kappa_1<\sigma_2^2\kappa_2であるが⌈σ12⌉κ1=2>1.9=⌈σ22⌉κ2\lceil\sigma_1^2\rceil\kappa_1=2>1.9=\lceil\sigma_2^2\rceil\kappa_2である。命題 6.1 (2)でM>1M>1かつc>0c>0ならば、命題 6.1 (3)により仕事量WnW_nは確定した上界をもたない。

7 次元と求積との比較

補題 7.1.d∈N≥1d\in\NNとし、V1,…,VdV_1,\ldots,V_dを実確率変数とする。σ(V1),…,σ(Vd)\sigma(V_1),\ldots,\sigma(V_d)は相互独立であり、各VjV_jはU[0,1]U[0,1]に従う、すなわち任意のt∈Rt\in\Rに対してP(Vj≤t)=min⁡{max⁡{t,0},1}P(V_j\le t)=\min\{\max\{t,0\},1\}を満たすとする。V:=(V1,…,Vd)V:=(V_1,\ldots,V_d)と置く。

  1. VVは確率ベクトルであり、任意の Borel 集合B⊂RdB\subset\R^dに対してP(V∈B)=λ(B∩(0,1]d)P(V\in B)=\lambda(B\cap(0,1]^d)が成り立つ。
  2. λ([0,1]d∖(0,1]d)=0\lambda([0,1]^d\setminus(0,1]^d)=0である。Borel 可測関数h ⁣:Rd→Rh\colon\R^d\to\Rが∫[0,1]d∣h∣ dλ<∞\int_{[0,1]^d}|h|\,d\lambda<\inftyを満たすならば、h(V)h(V)は可積分であり、 E[h(V)]=∫[0,1]dh dλ,E[h(V)2]=∫[0,1]dh2 dλE[h(V)]=\int_{[0,1]^d}h\,d\lambda,\qquad E[h(V)^2]=\int_{[0,1]^d}h^2\,d\lambda が成り立つ。第二の等式は[0,∞][0,\infty]における等式である。

証明.(1)を示す。半開直方体Q=∏j=1d(aj,bj]Q=\prod_{j=1}^d(a_j,b_j]に対してV−1(Q)=⋂j=1d{aj<Vj≤bj}∈FV^{-1}(Q)=\bigcap_{j=1}^d\{a_j<V_j\le b_j\}\in\mathcal Fである。V−1(B)∈FV^{-1}(B)\in\mathcal Fを満たす Borel 集合BBの全体はシグマ加法族であり、半開直方体をすべて含むから、半開直方体の有限非交和の全体Rd\mathcal R_dを含む。§E9.4 定理 3.3により、このシグマ加法族はB(Rd)\mathcal B(\R^d)に等しく、VVは確率ベクトルである。

Borel 集合BBに対してμ(B):=P(V∈B)\mu(B):=P(V\in B)、ν(B):=λ(B∩(0,1]d)\nu(B):=\lambda(B\cap(0,1]^d)と置く。λ\lambdaは§E9.4 定理 3.4のλdB\lambda_d^Bの完備化であり Borel 集合上でλdB\lambda_d^Bに一致するから、ν\nuはB(Rd)\mathcal B(\R^d)上の測度であり、ν(Rd)=1\nu(\R^d)=1である。F(t):=min⁡{max⁡{t,0},1}F(t):=\min\{\max\{t,0\},1\}と置くと、a<ba<bに対してF(b)−F(a)=max⁡{min⁡{b,1}−max⁡{a,0},0}F(b)-F(a)=\max\{\min\{b,1\}-\max\{a,0\},0\}である。半開直方体Q=∏j=1d(aj,bj]Q=\prod_{j=1}^d(a_j,b_j]に対して、σ(V1),…,σ(Vd)\sigma(V_1),\ldots,\sigma(V_d)の相互独立性から

μ(Q)=∏j=1dP(aj<Vj≤bj)=∏j=1d(F(bj)−F(aj))\mu(Q)=\prod_{j=1}^dP(a_j<V_j\le b_j)=\prod_{j=1}^d\bigl(F(b_j)-F(a_j)\bigr)

である。Q∩(0,1]dQ\cap(0,1]^dは、すべてのjjでmax⁡{aj,0}<min⁡{bj,1}\max\{a_j,0\}<\min\{b_j,1\}ならば半開直方体∏j=1d(max⁡{aj,0},min⁡{bj,1}]\prod_{j=1}^d(\max\{a_j,0\},\min\{b_j,1\}]であり、そうでなければ空集合であるから、§E9.4 定理 3.4によりν(Q)=∏j=1dmax⁡{min⁡{bj,1}−max⁡{aj,0},0}=μ(Q)\nu(Q)=\prod_{j=1}^d\max\{\min\{b_j,1\}-\max\{a_j,0\},0\}=\mu(Q)である。半開直方体と空集合からなる族P\mathcal Pは、二つの半開直方体の共通部分が半開直方体または空集合であるから π 系である。μ\muとν\nuはともに全質量11の測度であるから、μ(B)=ν(B)\mu(B)=\nu(B)を満たす Borel 集合BBの全体D\mathcal Dは Dynkin 系であり、P⊂D\mathcal P\subset\mathcal Dである。§E9.1 定理 4.8によりσ(P)⊂D\sigma(\mathcal P)\subset\mathcal Dであり、P⊂Rd⊂σ(P)\mathcal P\subset\mathcal R_d\subset\sigma(\mathcal P)と§E9.4 定理 3.3によりσ(P)=B(Rd)\sigma(\mathcal P)=\mathcal B(\R^d)である。よってμ=ν\mu=\nuである。

(2)を示す。任意のη>0\eta>0に対して(0,1]d⊂[0,1]d⊂(−η,1]d(0,1]^d\subset[0,1]^d\subset(-\eta,1]^dであるから、§E9.4 定理 3.4により1≤λ([0,1]d)≤(1+η)d1\le\lambda([0,1]^d)\le(1+\eta)^dである。η>0\eta>0は任意であるからλ([0,1]d)=1=λ((0,1]d)\lambda([0,1]^d)=1=\lambda((0,1]^d)であり、λ([0,1]d∖(0,1]d)=0\lambda([0,1]^d\setminus(0,1]^d)=0である。Ld\mathcal L_dを Lebesgue 可測集合全体、ρ\rhoをλ\lambdaのB(Rd)\mathcal B(\R^d)への制限とすると、恒等写像(Rd,Ld)→(Rd,B(Rd))(\R^d,\mathcal L_d)\to(\R^d,\mathcal B(\R^d))は可測でありλ\lambdaをρ\rhoに写す。§E9.6 定理 5.3 (1)と§E9.6 定理 5.3 (2)により、Borel 可測関数のρ\rhoに関する積分とλ\lambdaに関する積分は、非負の場合と可積分な場合に一致する。p:=1(0,1]dp:=\mathbf 1_{(0,1]^d}と置くと、(1)により任意の Borel 集合BBに対してP(V∈B)=∫Bp dρP(V\in B)=\int_Bp\,d\rhoであり、λ([0,1]d∖(0,1]d)=0\lambda([0,1]^d\setminus(0,1]^d)=0から∫Rd∣h∣p dρ=∫[0,1]d∣h∣ dλ<∞\int_{\R^d}|h|p\,d\rho=\int_{[0,1]^d}|h|\,d\lambda<\inftyである。命題 1.2を適用すると、主張の二つの等式を得る。▨

例 7.2.d∈N≥1d\in\NNとする。実確率変数Vi,jV_{i,j}(i∈N≥1, 1≤j≤d)(i\in\NN,\ 1\le j\le d)について、(σ(Vi,j))(i,j)∈N≥1×{1,…,d}(\sigma(V_{i,j}))_{(i,j)\in\NN\times\{1,\ldots,d\}}は相互独立であり、各Vi,jV_{i,j}はU[0,1]U[0,1]に従うとする。Vi:=(Vi,1,…,Vi,d)V_i:=(V_{i,1},\ldots,V_{i,d})、Yi:=Vi,1Vi,2⋯Vi,dY_i:=V_{i,1}V_{i,2}\cdots V_{i,d}、In:=n−1∑i=1nYiI_n:=n^{-1}\sum_{i=1}^nY_iと置く。

  1. §E20.34 命題 2.1 (2)を添字の組{(i,1),…,(i,d)}\{(i,1),\ldots,(i,d)\}(i∈N≥1)(i\in\NN)と恒等写像に適用すると、(σ(Vi))i∈N≥1(\sigma(V_i))_{i\in\NN}は相互独立である。補題 7.1 (1)により、すべてのViV_iの法則はB↦λ(B∩(0,1]d)B\mapsto\lambda(B\cap(0,1]^d)に等しい。命題 2.2を Borel 可測関数x↦x1⋯xdx\mapsto x_1\cdots x_dに適用するとY1,Y2,…Y_1,Y_2,\ldotsは独立同分布であり、補題 7.1 (2)により I:=E[Y1]=∫[0,1]dx1⋯xd dx,E[Y12]=∫[0,1]dx12⋯xd2 dxI:=E[Y_1]=\int_{[0,1]^d}x_1\cdots x_d\,dx,\qquad E[Y_1^2]=\int_{[0,1]^d}x_1^2\cdots x_d^2\,dx である。補題 7.1 (2)をd=1d=1として適用すると、E[V1,j]=∫[0,1]t dt=1/2E[V_{1,j}]=\int_{[0,1]}t\,dt=1/2、E[V1,j2]=∫[0,1]t2 dt=1/3E[V_{1,j}^2]=\int_{[0,1]}t^2\,dt=1/3である。2≤k≤d2\le k\le dに対して§E20.34 命題 2.1 (2)を添字の組{(1,1),…,(1,k−1)}\{(1,1),\ldots,(1,k-1)\}と{(1,k)}\{(1,k)\}および Borel 可測写像(x1,…,xk−1)↦x1⋯xk−1(x_1,\ldots,x_{k-1})\mapsto x_1\cdots x_{k-1}と恒等写像に適用すると、V1,1⋯V1,k−1V_{1,1}\cdots V_{1,k-1}とV1,kV_{1,k}は独立である。どちらもほとんど確実に[0,1][0,1]に値をとるから可積分であり、§E11.7 定理 3.1をk=2,…,dk=2,\ldots,dの順に適用するとI=2−dI=2^{-d}である。写像を(x1,…,xk−1)↦x12⋯xk−12(x_1,\ldots,x_{k-1})\mapsto x_1^2\cdots x_{k-1}^2とx↦x2x\mapsto x^2に替えて同じく適用すると、E[Y12]=3−dE[Y_1^2]=3^{-d}である。§E11.4 命題 2.3によりVar⁡(Y1)=3−d−4−d\operatorname{Var}(Y_1)=3^{-d}-4^{-d}である。
  2. 定理 2.4 (2)により E[(In−2−d)2]=3−d−4−dn,E[(In−2−d)2]4−d=(4/3)d−1nE[(I_n-2^{-d})^2]=\frac{3^{-d}-4^{-d}}n,\qquad\frac{E[(I_n-2^{-d})^2]}{4^{-d}}=\frac{(4/3)^d-1}n である。相対的な二乗平均平方根誤差をr>0r>0以下にする条件はn≥((4/3)d−1)/r2n\ge((4/3)^d-1)/r^2である。r=0.1r=0.1のとき、この右辺はd=1d=1で約33.333.3、d=10d=10で約1675.81675.8、d=50d=50で約1.766×1081.766\times10^8である。
  3. 出力1個の計算はU[0,1]U[0,1]に従う値dd個の生成とd−1d-1回の乗算からなる。値1個の生成費用をcuc_u、乗算・加算・除算1回の費用をcac_aとすると、命題 6.1 (1)においてcs+cf=dcu+(d−1)cac_s+c_f=dc_u+(d-1)c_aであり、前処理のないInI_nの計算費用はnd(cu+ca)nd(c_u+c_a)である。

注意 7.3.a<ba<bを実数、f ⁣:[a,b]→Rf\colon[a,b]\to\RをC2C^2級の関数、N∈N≥1N\in\NN、h:=(b−a)/Nh:=(b-a)/Nとする。合成台形則Th(f)T_h(f)はffのm:=N+1m:=N+1回の評価を用い、§E20.20 定理 2.3 (2)により

∣∫abf(x) dx−Th(f)∣≤(b−a)312N2max⁡[a,b]∣f′′∣=(b−a)312(m−1)2max⁡[a,b]∣f′′∣\Bigl|\int_a^bf(x)\,dx-T_h(f)\Bigr|\le\frac{(b-a)^3}{12N^2}\max_{[a,b]}|f''|=\frac{(b-a)^3}{12(m-1)^2}\max_{[a,b]}|f''|

が成り立つ。この上界は確定的であり、mmについて(m−1)−2(m-1)^{-2}の割合で減少する。分散σ2\sigma^2の独立同分布な出力mm個を用いるImI_mの二乗平均平方根誤差は定理 2.4 (2)によりσ/m\sigma/\sqrt mであり、mmについてm−1/2m^{-1/2}の割合で減少する。[0,1]d[0,1]^dの各座標にN+1N+1個の節点をとる直積格子の点数は(N+1)d(N+1)^dであり、N=1N=1でも2d2^d点、d=50d=50では約1.126×10151.126\times10^{15}点である。σ/m\sigma/\sqrt mの指数−1/2-1/2はddによらないが、例 7.2 (2)の相対分散(4/3)d−1(4/3)^d-1と例 7.2 (3)の出力1個あたりの費用はddとともに増加する。

8 演習

問題 8.1.補題 3.3の証明を完成させよ。

解答.

c:=(ℓ+u)/2c:=(\ell+u)/2と置く。P(ℓ≤Y≤u)=1P(\ell\le Y\le u)=1から、∣Y−c∣≤(u−ℓ)/2|Y-c|\le(u-\ell)/2がほとんど確実に成り立つ。したがって∣Y∣≤max⁡{∣ℓ∣,∣u∣}|Y|\le\max\{|\ell|,|u|\}がほとんど確実に成り立ち、E[Y2]≤max⁡{∣ℓ∣,∣u∣}2<∞E[Y^2]\le\max\{|\ell|,|u|\}^2<\inftyであるからY∈L2(P)Y\in L^2(P)である。補題 2.3をZ=YZ=Yとccに適用すると

Var⁡(Y)=E[(Y−c)2]−(E[Y]−c)2≤E[(Y−c)2]≤(u−ℓ)24\operatorname{Var}(Y)=E[(Y-c)^2]-(E[Y]-c)^2\le E[(Y-c)^2]\le\frac{(u-\ell)^2}4

を得る。▨

問題 8.2.例 5.1の設定でp≤1/2p\le1/2とする。n∈N≥1n\in\NNがnp≤1np\le1を満たすならばP(∣In−p∣≥p)≥e−2P(|I_n-p|\ge p)\ge e^{-2}であることを示せ。

解答.

事象E0:={Y1=⋯=Yn=0}E_0:=\{Y_1=\cdots=Y_n=0\}上ではIn=0I_n=0であるから∣In−p∣=p|I_n-p|=pであり、E0⊂{∣In−p∣≥p}E_0\subset\{|I_n-p|\ge p\}である。例 5.1 (2)によりP(E0)=(1−p)n≥e−np/(1−p)P(E_0)=(1-p)^n\ge e^{-np/(1-p)}である。p≤1/2p\le1/2から1/(1−p)≤21/(1-p)\le2であり、np≤1np\le1からnp/(1−p)≤2np/(1-p)\le2である。したがってP(∣In−p∣≥p)≥P(E0)≥e−2P(|I_n-p|\ge p)\ge P(E_0)\ge e^{-2}である。▨

前提記事

12 本の記事・単元を表示