概要と対象読者

確率論は、不確実な現象を、標本空間上の確率測度と可測写像によって記述する。本単元は、確率空間と事象による条件付けから始め、確率変数の分布、期待値、同時分布、独立性、分布の変換と構成、部分シグマ加法族に関する条件付き期待値を扱う。続いて、確率変数列の収束、零一法則、特性関数、極限定理および集中不等式を扱う。

本単元は、測度と積分で測度、可測関数、Lebesgue 積分および積測度を学び、確率論に固有の定義と証明を測度論に基づいて学ぶ数学専門課程の読者を対象とする。読者は、有限標本空間の計算に加えて、離散分布、絶対連続分布、特異分布、退化した多変量正規分布、および実確率変数列の極限を、測度と可測写像によって統一的に記述する。

到達点

本単元の全記事を学んだ読者は、次のことを行うことができる。

  • 確率空間、事象、零事象およびほとんど確実に成り立つことを定義し、確率測度の単調性、劣加法性および単調な事象列に対する連続性を証明することができる。
  • 正の確率をもつ事象による条件付き確率を定義し、乗法公式、全確率の公式および Bayes の公式を証明することができる。
  • 確率変数を実数値可測写像として、分布を像測度として定義し、分布関数による特徴づけを用いて離散分布、絶対連続分布および特異分布を区別することができる。
  • 期待値、積率、分散および共分散について各量の存在条件を明示し、Markov、Chebyshev、Jensen および Cauchy–Schwarz の各不等式を必要な仮定の下で証明または導出することができる。
  • 基本的な一変量分布の確率質量関数または密度、母数、期待値および分散を求め、幾何分布と指数分布の無記憶性を証明することができる。
  • 確率ベクトルの同時分布と周辺分布を求め、二次可積分な成分から共分散行列を構成し、その対称性と半正定値性を証明することができる。
  • 事象族、シグマ加法族および確率変数族の独立性を定義し、二つずつの独立性と相互独立性を区別したうえで、同時分布が積分布になることを証明することができる。
  • 確率変数の像測度を求め、一変数の単調な連続微分可能写像および開集合間の連続微分可能な微分同相に対する密度変換公式を証明することができる。
  • 独立な確率変数の和の分布を畳み込みによって求め、確率母関数と積率母関数から積率を計算し、独立な和に対する積公式を証明することができる。
  • 多変量正規分布を線形結合によって特徴づけ、正定値な共分散行列をもつ場合の密度、特異な場合の集中先、および無相関な成分の独立性を導くことができる。
  • 条件付き期待値を Radon–Nikodym の定理から構成し、基本性質、有限または可算分割による計算、条件付き分散および全分散公式を証明することができる。
  • ほとんど確実な収束、確率収束、分布収束および L^p 収束を定義し、各収束概念の含意関係と逆向きの含意に対する反例を示すことができる。
  • Borel–Cantelli の二つの補題を証明し、ほとんど確実に収束する部分列の抽出と Kolmogorov の零一法則へ適用することができる。
  • 実確率変数の特性関数の基本性質、一意性および独立な和に対する積公式を証明し、実数上の Lévy の連続性定理を用いて分布収束を判定することができる。
  • 独立同分布で L^1 に属する実確率変数に対する弱大数の法則と、独立同分布で L^2 に属する実確率変数に対する強大数の法則を証明することができる。
  • 独立同分布で有限かつ正の分散をもつ実確率変数に対する Lindeberg–Lévy の中心極限定理を、特性関数によって証明することができる。
  • 指数 Markov 法から Chernoff の評価を導き、Hoeffding の補題を用いて独立な有界確率変数の和に対する Hoeffding の不等式を証明することができる。

前提知識

本単元は、測度と積分の必修内容を前提とする。確率空間、零事象、およびほとんど確実に成り立つという概念の定義には、測度で扱う測度、零集合、およびほとんど至る所で成り立つことを用いる。確率変数の定義には、可測関数で扱う可測写像を用いる。実数上の Lévy の連続性定理では、分布関数から Lebesgue–Stieltjes 測度を構成するために外測度と Carathéodory の拡張定理を用いる。連続標本空間の Lebesgue 測度モデルにはLebesgue 測度を用いる。期待値と分布による積分表示にはLebesgue 積分を用い、Cauchy–Schwarz の不等式の導出および確率変数の L^p 収束にはL^p 空間を用いる。密度と Lebesgue 積分の関係を確認する際にはRiemann 積分と Lebesgue 積分を用いる。

同時分布、独立性、畳み込みおよび特性関数では、積測度とFubini–Tonelli の定理を用いる。読者は、非負可測関数に適用する Tonelli の定理と、絶対可積分関数に適用する Fubini の定理との仮定の違いを確認する必要がある。条件付き期待値の存在証明には、Radon–Nikodym の定理と Lebesgue 分解の密度の存在とほとんど至る所での一意性を用いる。

密度変換公式では、変数変換と Jacobi 行列式で扱う変数変換と Jacobi 行列式を用いる。多変量正規分布では、直交行列と実対称行列の対角化で扱う直交行列と実対称行列の直交対角化を用いる。確率変数列の収束と特性関数では、収束定理で扱う単調収束定理、Fatou の補題および優収束定理を用いる。前提知識として挙げた記事のうち、まだ学んでいない記事がある読者は、該当する記事を先に読む必要がある。

学習の順序と四つの章

本単元の17記事は、扱う内容に応じて四つの章に分かれ、第一章から第四章までを順に学ぶ。17記事はすべて必修であり、選択記事または展望記事を含まない。

第一章「確率空間と条件付き確率」は、確率測度によるモデルを定義し、正の確率をもつ事象による条件付けを扱う。確率測度の性質を先に証明することにより、全確率の公式と Bayes の公式に現れる可算和を正当化することができる。

第二章「確率変数と分布」は、確率変数と分布を定義した後、期待値と基本分布へ進み、最後に確率ベクトルと同時分布を扱う。期待値を基本分布より先に学ぶことにより、各分布の期待値と分散を同じ定義から計算することができる。同時分布を独立性より先に学ぶことにより、独立性を積分布によって特徴づける際に同時分布の定義を用いることができる。

第三章「独立性・分布の構成・条件付け」は、独立性と積分布から始め、確率変数の変換、独立な和の分布、多変量正規分布、条件付き期待値の順に進む。変換公式と積分布を先に扱うことにより、多変量正規分布のアフィン像と、無相関な成分が独立であることを論じることができる。条件付き期待値を章の最後に学ぶ理由は、条件付き期待値の構成と性質の証明が、期待値、独立性および Radon–Nikodym の定理を同時に用いるためである。

第四章「確率変数列・極限定理・集中不等式」は、収束概念を定義した後、Borel–Cantelli の補題と零一法則、特性関数、大数の法則、中心極限定理、指数型確率不等式の順に進む。収束概念と Borel–Cantelli の補題を先に扱うことにより、強大数の法則の結論と証明を記述することができる。特性関数と実数上の Lévy の連続性定理を中心極限定理より先に証明することにより、正規化された和の分布収束を特性関数の収束から導くことができる。指数型確率不等式は、先に扱う積率母関数と独立な和に対する積公式を用いて導く。

各記事の内容

第一章では第1記事と第2記事を、第二章では第3記事から第6記事までを、第三章では第7記事から第11記事までを、第四章では第12記事から第17記事までを学ぶ。各章の中でも番号順に学ぶ。

確率空間と条件付き確率

  1. 確率空間と確率モデル — 確率空間、事象、零事象、およびほとんど確実に成り立つという概念を定義する。確率測度の単調性、劣加法性、および単調な事象列に対する連続性を導き、有限標本空間と連続標本空間のモデルを比較する。
  2. 条件付き確率と Bayes の公式 — 正の確率をもつ事象による条件付き確率を定義し、乗法公式、有限または可算分割に対する全確率の公式、および Bayes の公式を証明する。零確率の事象による条件付けは扱わない。

確率変数と分布

  1. 確率変数と分布関数 — 実数値可測写像として確率変数を定義し、像測度としての分布、分布関数による分布の一意な特徴づけ、および離散分布・絶対連続分布・特異分布の区別を扱う。密度は分布が Lebesgue 測度に関して絶対連続な場合に限って用いる。
  2. 期待値・積率・確率不等式 — 非負または可積分な確率変数の期待値を Lebesgue 積分として定義し、線形性、分布による積分表示、積率、分散、共分散および各量の存在条件を扱う。非負確率変数に対する Markov の不等式と二次可積分な確率変数に対する Chebyshev の不等式を証明し、可積分性の条件を明示して Jensen の不等式を扱う。Cauchy–Schwarz の不等式は Hölder の不等式を二次可積分な確率変数へ適用して導く。
  3. 基本的な確率分布 — Bernoulli 分布、二項分布、幾何分布、Poisson 分布、一様分布、指数分布および正規分布について、確率質量関数または密度、母数、期待値および分散を求める。幾何分布と指数分布の無記憶性を証明する。
  4. 確率ベクトルと同時分布 — 有限次元の確率ベクトルを定義し、同時分布、周辺分布、同時分布関数、離散分布の同時確率質量関数および絶対連続分布の同時密度を扱う。各成分が二次可積分である場合に共分散行列を定義し、その対称性と半正定値性を証明する。

独立性・分布の構成・条件付け

  1. 独立性と積分布 — 事象族、シグマ加法族および確率変数族の独立性を定義し、二つずつの独立性と相互独立性を区別する。同時分布が積分布になること、および可積分性の仮定の下で積の期待値が分解することを証明する。
  2. 確率変数の変換と密度変換 — 像測度により確率変数の変換を扱い、一変数の単調な連続微分可能写像と、開集合の間の連続微分可能な微分同相に対する密度変換公式を証明する。写像が単射でない場合は、有限個の単調な枝に分けることができる標準例に限定する。
  3. 畳み込みと母関数 — 独立な確率変数の和の分布を、離散分布では確率質量関数の畳み込み、絶対連続分布では密度の畳み込みによって求める。非負整数値確率変数の確率母関数と、零の近傍で有限な積率母関数を定義し、微分による積率の計算と独立な和に対する積公式を証明する。積率母関数による分布の一意性は主張として扱う。
  4. 多変量正規分布 — 分散が零である退化正規分布を一変量正規分布に含め、すべての線形結合が一変量正規分布に従う確率ベクトルとして多変量正規分布を定義する。標準正規ベクトルのアフィン像との同値、平均ベクトルと半正定値共分散行列による特徴づけ、正定値な場合の密度、特異な場合のアフィン部分空間への集中、および無相関な成分の独立性を扱う。条件付き分布は非退化な密度から計算する場合に限る。
  5. 条件付き期待値 — 可積分確率変数と部分シグマ加法族に対する条件付き期待値を Radon–Nikodym の定理から構成し、ほとんど至る所での一意性、線形性、正値性、条件付き Jensen の不等式および塔の性質を証明する。部分シグマ加法族に関して可測な有界確率変数を積から取り出す性質と、積の可積分性を仮定する拡張を扱う。独立なシグマ加法族による条件付け、指示関数による条件付き確率、有限または可算分割の場合の計算、条件付き分散および全分散公式を導く。

確率変数列・極限定理・集中不等式

  1. 確率変数の収束概念 — ほとんど確実な収束、確率収束、分布収束および L^p 収束を定義し、L^p 収束から確率収束、ほとんど確実な収束から確率収束、確率収束から分布収束への含意を証明する。逆向きの含意が一般に成立しないことを反例で示し、極限の一意性を扱う。分布収束は極限分布関数のすべての連続点における各点収束によって特徴づけ、一般の距離空間上の弱収束は扱わない。
  2. Borel–Cantelli の補題と零一法則 — 事象列の上極限と下極限を定義し、確率の総和が有限な場合の第一 Borel–Cantelli の補題と、独立な事象について確率の総和が発散する場合の第二補題を証明する。確率収束する列からほとんど確実に収束する部分列を抽出し、独立なシグマ加法族の末尾事象に対する Kolmogorov の零一法則を導く。Hewitt–Savage の零一法則は扱わない。
  3. 特性関数と Lévy の連続性定理 — 実確率変数の特性関数を定義し、共役対称性、一様連続性、二次までの積率による原点近傍の展開、および独立な和に対する積公式を証明する。反転公式から分布の一意性を導き、実数上の Lévy の連続性定理を緊密性と部分列極限の同定を含めて証明する。Bochner の定理と一般の位相群上の調和解析は扱わない。
  4. 大数の法則 — 独立同分布で有限な期待値をもつ実確率変数について弱大数の法則を証明する。さらに二次可積分性の下で Kolmogorov の最大不等式を証明し、Borel–Cantelli の補題を用いて強大数の法則を導く。期待値の有限性だけを仮定する強法則、Kolmogorov の三列定理および非同分布版は扱わない。
  5. 中心極限定理 — 独立同分布で有限かつ正の分散をもつ実確率変数の正規化された和について、特性関数と Lévy の連続性定理を用いて Lindeberg–Lévy の中心極限定理を証明する。二項分布に対する de Moivre–Laplace の定理を応用として導く。三角配列に対する Lindeberg–Feller の定理、Berry–Esseen 型評価および安定分布は扱わない。
  6. 指数型確率不等式 — 指数 Markov 法と積率母関数を用いて Chernoff の評価を導く。Hoeffding の補題を証明し、独立な有界確率変数の和に対する Hoeffding の不等式を導く。Bernstein・Bennett 型不等式、一般の劣 Gauss 確率変数およびマルチンゲール差分列に対する Azuma–Hoeffding の不等式は扱わない。

本単元が扱う範囲と後続単元との境界

測度と積分は、シグマ加法族、測度、Lebesgue 積分、積測度、Fubini–Tonelli の定理および Radon–Nikodym の定理を一般の測度空間について構成する。本単元は、その一般理論を確率測度、確率変数および分布へ適用する。

  • 測度論続論は、一般の Polish 空間上の確率測度の弱収束、Portmanteau の定理、緊密性、Prokhorov の定理、一様可積分性、標準 Borel 空間上の正則条件付き分布、測度核および測度の分解を扱う。本単元は、実確率変数の分布収束と、Lévy の連続性定理に必要な実数上の議論、および部分シグマ加法族に関する条件付き期待値までを扱う。
  • Fourier 解析と調和解析は、Schwartz 関数上の Fourier 変換、一般の反転公式および Plancherel の定理を扱う。本単元は、実確率変数の特性関数について、独立な和と極限定理に必要な反転、一意性および収束だけを扱う。
  • 確率過程は、Kolmogorov の拡張定理による確率過程の構成、フィルトレーション、停止時刻、マルチンゲール、Markov 過程および Azuma–Hoeffding の不等式を扱う。本単元は、独立な確率変数の和に対する Hoeffding の不等式までを扱い、マルチンゲール差分列へは拡張しない。
  • 数理統計 Iは、統計モデル、標本分布、推定、検定および回帰を扱う。本単元は、統計学で用いる確率分布、条件付き期待値および極限定理を構成する。条件付き分布の計算は、離散分布または非退化な密度をもつ分布の場合に限定する。
  • 関数解析入門は、二乗可積分な場合の条件付き期待値を直交射影として解釈するために必要となる、Hilbert 空間上の一般の射影定理を扱う。本単元は、条件付き期待値を Radon–Nikodym の定理から構成し、Hilbert 空間の直交射影を存在証明に用いない。

弱大数の法則は、独立同分布で L^1 に属する実確率変数を対象とする。強大数の法則は L^2 に属することを仮定し、期待値の有限性だけを仮定する強法則へは進まない。中心極限定理は独立同分布で有限かつ正の分散をもつ場合の Lindeberg–Lévy の定理に限定し、三角配列に対する一般化と収束速度の評価は扱わない。