1 正規平均空間と直交射影
定義 1.1. M ⊆ R n \mathcal M\subseteq\R^n M ⊆ R n を線形部分空間とし、σ 2 > 0 \sigma^2>0 σ 2 > 0 とする。観測ベクトルY Y Y が、ある未知のμ ∈ M \mu\in\mathcal M μ ∈ M に対して
Y ∼ N n ( μ , σ 2 I n ) Y\sim N_n(\mu,\sigma^2I_n) Y ∼ N n ( μ , σ 2 I n ) に従うとき、この統計モデルを平均空間M \mathcal M M をもつ正規線形モデル (normal linear model ) という。
定理 1.2. M ⊆ R n \mathcal M\subseteq\R^n M ⊆ R n を次元r < n r<n r < n の線形部分空間とし、P P P をM \mathcal M M への直交射影とする。σ 2 > 0 \sigma^2>0 σ 2 > 0 、μ ∈ M \mu\in\mathcal M μ ∈ M とし、Y ∼ N n ( μ , σ 2 I n ) Y\sim N_n(\mu,\sigma^2I_n) Y ∼ N n ( μ , σ 2 I n ) とする。このとき、当てはめ値μ ^ = P Y \widehat\mu=PY μ = P Y と残差e = ( I n − P ) Y e=(I_n-P)Y e = ( I n − P ) Y は独立であり、
∥ e ∥ 2 σ 2 ∼ χ n − r 2 \frac{\lVert e\rVert^2}{\sigma^2}\sim\chi^2_{n-r} σ 2 ∥ e ∥ 2 ∼ χ n − r 2 が成り立つ。したがってs 2 = ∥ e ∥ 2 / ( n − r ) s^2=\lVert e\rVert^2/(n-r) s 2 = ∥ e ∥ 2 / ( n − r ) はσ 2 \sigma^2 σ 2 の不偏推定量である。
証明. Z = ( Y − μ ) / σ Z=(Y-\mu)/\sigma Z = ( Y − μ ) / σ とおくとZ ∼ N n ( 0 , I n ) Z\sim N_n(0,I_n) Z ∼ N n ( 0 , I n ) であり、P μ = μ P\mu=\mu P μ = μ であるから
μ ^ = μ + σ P Z , e = σ ( I n − P ) Z \widehat\mu=\mu+\sigma PZ,
\qquad
e=\sigma(I_n-P)Z μ = μ + σ P Z , e = σ ( I n − P ) Z を得る。P P P とI n − P I_n-P I n − P は実対称冪等行列であり、P ( I n − P ) = 0 P(I_n-P)=0 P ( I n − P ) = 0 である。§E14.3 定理 3.1 によりP Z PZ P Z と( I n − P ) Z (I_n-P)Z ( I n − P ) Z は独立であり、I n − P I_n-P I n − P の階数はn − r > 0 n-r>0 n − r > 0 なので
∥ ( I n − P ) Z ∥ 2 ∼ χ n − r 2 \lVert(I_n-P)Z\rVert^2\sim\chi^2_{n-r} ∥( I n − P ) Z ∥ 2 ∼ χ n − r 2 が成り立つ。アフィン変換は独立性を保つため、μ ^ \widehat\mu μ とe e e は独立である。さらに§E14.3 定義 2.2 (1) によりカイ二乗分布の平均は自由度に等しいから、E [ s 2 ] = σ 2 E[s^2]=\sigma^2 E [ s 2 ] = σ 2 となる。▨
2 入れ子モデルの比較
定理 2.1. M 0 ⊊ M 1 ⊆ R n \mathcal M_0\subsetneq\mathcal M_1\subseteq\R^n M 0 ⊊ M 1 ⊆ R n を線形部分空間とし、r j = dim M j r_j=\dim\mathcal M_j r j = dim M j が
0 ≤ r 0 < r 1 < n 0\leq r_0<r_1<n 0 ≤ r 0 < r 1 < n を満たすとする。P j P_j P j をM j \mathcal M_j M j への直交射影とし、RSS j = ∥ ( I n − P j ) Y ∥ 2 \operatorname{RSS}_j=\lVert(I_n-P_j)Y\rVert^2 RSS j = ∥( I n − P j ) Y ∥ 2 とおく。σ 2 > 0 \sigma^2>0 σ 2 > 0 、0 < α < 1 0<\alpha<1 0 < α < 1 とし、帰無仮説H 0 : μ ∈ M 0 H_0:\mu\in\mathcal M_0 H 0 : μ ∈ M 0 のもとでY ∼ N n ( μ , σ 2 I n ) Y\sim N_n(\mu,\sigma^2I_n) Y ∼ N n ( μ , σ 2 I n ) とする。RSS 1 = 0 \operatorname{RSS}_1=0 RSS 1 = 0 の標本点では次のF F F を零と定める。このとき
F = ( RSS 0 − RSS 1 ) / ( r 1 − r 0 ) RSS 1 / ( n − r 1 ) ∼ F r 1 − r 0 , n − r 1 F=\frac{(\operatorname{RSS}_0-\operatorname{RSS}_1)/(r_1-r_0)}{\operatorname{RSS}_1/(n-r_1)}
\sim F_{r_1-r_0,n-r_1} F = RSS 1 / ( n − r 1 ) ( RSS 0 − RSS 1 ) / ( r 1 − r 0 ) ∼ F r 1 − r 0 , n − r 1 が成り立ち、RSS 0 − RSS 1 \operatorname{RSS}_0-\operatorname{RSS}_1 RSS 0 − RSS 1 とRSS 1 \operatorname{RSS}_1 RSS 1 は独立である。したがって、F F F がF r 1 − r 0 , n − r 1 F_{r_1-r_0,n-r_1} F r 1 − r 0 , n − r 1 分布の上側α \alpha α 点より大きいときにH 0 H_0 H 0 を棄却する規則は、有意水準α \alpha α の検定である。
証明. P 1 P 0 = P 0 P 1 = P 0 P_1P_0=P_0P_1=P_0 P 1 P 0 = P 0 P 1 = P 0 であるから、P 1 − P 0 P_1-P_0 P 1 − P 0 はM 1 ∩ M 0 ⊥ \mathcal M_1\cap\mathcal M_0^\perp M 1 ∩ M 0 ⊥ への直交射影であり、階数はr 1 − r 0 r_1-r_0 r 1 − r 0 である。また、
( P 1 − P 0 ) ( I n − P 1 ) = 0 (P_1-P_0)(I_n-P_1)=0 ( P 1 − P 0 ) ( I n − P 1 ) = 0 である。直交分解
( I n − P 0 ) Y = ( P 1 − P 0 ) Y + ( I n − P 1 ) Y (I_n-P_0)Y=(P_1-P_0)Y+(I_n-P_1)Y ( I n − P 0 ) Y = ( P 1 − P 0 ) Y + ( I n − P 1 ) Y により
RSS 0 − RSS 1 = ∥ ( P 1 − P 0 ) Y ∥ 2 \operatorname{RSS}_0-\operatorname{RSS}_1=\lVert(P_1-P_0)Y\rVert^2 RSS 0 − RSS 1 = ∥( P 1 − P 0 ) Y ∥ 2 を得る。Y = μ + σ Z Y=\mu+\sigma Z Y = μ + σ Z 、Z ∼ N n ( 0 , I n ) Z\sim N_n(0,I_n) Z ∼ N n ( 0 , I n ) と書く。H 0 H_0 H 0 のもとでは( P 1 − P 0 ) μ = 0 (P_1-P_0)\mu=0 ( P 1 − P 0 ) μ = 0 かつ( I n − P 1 ) μ = 0 (I_n-P_1)\mu=0 ( I n − P 1 ) μ = 0 なので、§E14.3 定理 3.1 により
RSS 0 − RSS 1 σ 2 ∼ χ r 1 − r 0 2 , RSS 1 σ 2 ∼ χ n − r 1 2 \frac{\operatorname{RSS}_0-\operatorname{RSS}_1}{\sigma^2}\sim\chi^2_{r_1-r_0},
\qquad
\frac{\operatorname{RSS}_1}{\sigma^2}\sim\chi^2_{n-r_1} σ 2 RSS 0 − RSS 1 ∼ χ r 1 − r 0 2 , σ 2 RSS 1 ∼ χ n − r 1 2 であり、二つの確率変数は独立である。§E14.3 定義 2.2 (3) から表示した F 法則が従う。§E14.3 命題 2.4 により上側α \alpha α 点は一意に存在し、その上側確率はα \alpha α であるから、検定のサイズはα \alpha α である。▨
3 正規回帰の有限標本推測
定理 3.1. X ∈ R n × p X\in\R^{n\times p} X ∈ R n × p を列が一次独立な固定行列とし、p < n p<n p < n とする。β ∈ R p \beta\in\R^p β ∈ R p 、σ 2 > 0 \sigma^2>0 σ 2 > 0 とし、
Y = X β + ε , ε ∼ N n ( 0 , σ 2 I n ) Y=X\beta+\varepsilon,
\qquad
\varepsilon\sim N_n(0,\sigma^2I_n) Y = X β + ε , ε ∼ N n ( 0 , σ 2 I n ) とする。β ^ = ( X ⊤ X ) − 1 X ⊤ Y \widehat\beta=(X^\top X)^{-1}X^\top Y β = ( X ⊤ X ) − 1 X ⊤ Y 、H = X ( X ⊤ X ) − 1 X ⊤ H=X(X^\top X)^{-1}X^\top H = X ( X ⊤ X ) − 1 X ⊤ 、e = ( I n − H ) Y e=(I_n-H)Y e = ( I n − H ) Y 、RSS = ∥ e ∥ 2 \operatorname{RSS}=\lVert e\rVert^2 RSS = ∥ e ∥ 2 、s 2 = RSS / ( n − p ) s^2=\operatorname{RSS}/(n-p) s 2 = RSS / ( n − p ) とおく。以下でs s s またはRSS \operatorname{RSS} RSS を分母に含む比は、RSS = 0 \operatorname{RSS}=0 RSS = 0 、同値にs = 0 s=0 s = 0 の標本点で零と定める。このとき次が成り立つ。
β ^ ∼ N p ( β , σ 2 ( X ⊤ X ) − 1 ) \widehat\beta\sim N_p\bigl(\beta,\sigma^2(X^\top X)^{-1}\bigr) β ∼ N p ( β , σ 2 ( X ⊤ X ) − 1 ) 。
( n − p ) s 2 / σ 2 ∼ χ n − p 2 (n-p)s^2/\sigma^2\sim\chi^2_{n-p} ( n − p ) s 2 / σ 2 ∼ χ n − p 2 であり、β ^ \widehat\beta β とs 2 s^2 s 2 は独立である。
c j j = [ ( X ⊤ X ) − 1 ] j j c_{jj}=[(X^\top X)^{-1}]_{jj} c j j = [( X ⊤ X ) − 1 ] j j とおくと、各j ∈ { 1 , … , p } j\in\{1,\ldots,p\} j ∈ { 1 , … , p } について
β ^ j − β j s c j j ∼ t n − p \frac{\widehat\beta_j-\beta_j}{s\sqrt{c_{jj}}}\sim t_{n-p} s c j j β j − β j ∼ t n − p
が成り立つ。
2 ≤ p < n 2\leq p<n 2 ≤ p < n とし、X X X の第1列が1 = ( 1 , … , 1 ) ⊤ \mathbf1=(1,\ldots,1)^\top 1 = ( 1 , … , 1 ) ⊤ であるとする。帰無仮説H 0 : β 2 = ⋯ = β p = 0 H_0:\beta_2=\cdots=\beta_p=0 H 0 : β 2 = ⋯ = β p = 0 のもとで、Y ‾ = n − 1 ∑ i = 1 n Y i \overline Y=n^{-1}\sum_{i=1}^nY_i Y = n − 1 ∑ i = 1 n Y i 、Y ^ = H Y \widehat Y=HY Y = H Y 、
ESS = ∥ Y ^ − Y ‾ 1 ∥ 2 \operatorname{ESS}=\lVert\widehat Y-\overline Y\mathbf1\rVert^2 ESS = ∥ Y − Y 1 ∥ 2
とおくと
ESS / ( p − 1 ) RSS / ( n − p ) ∼ F p − 1 , n − p \frac{\operatorname{ESS}/(p-1)}{\operatorname{RSS}/(n-p)}\sim F_{p-1,n-p} RSS / ( n − p ) ESS / ( p − 1 ) ∼ F p − 1 , n − p
が成り立つ。
証明. (1) を示す。A = ( X ⊤ X ) − 1 X ⊤ A=(X^\top X)^{-1}X^\top A = ( X ⊤ X ) − 1 X ⊤ とおくと、
β ^ = A Y = β + A ε \widehat\beta=AY=\beta+A\varepsilon β = A Y = β + A ε である。§E11.10 定理 4.2 によりA ε A\varepsilon A ε は Gaussian であり、§E14.19 系 4.1 により平均は零、共分散行列はσ 2 ( X ⊤ X ) − 1 \sigma^2(X^\top X)^{-1} σ 2 ( X ⊤ X ) − 1 である。したがって主張した正規法則を得る。
(2) を示す。H H H はcol ( X ) \operatorname{col}(X) col ( X ) への直交射影であり、dim col ( X ) = p < n \dim\operatorname{col}(X)=p<n dim col ( X ) = p < n である。定理 1.2 をM = col ( X ) \mathcal M=\operatorname{col}(X) M = col ( X ) に適用すると、H Y HY H Y とe e e は独立であり、∥ e ∥ 2 / σ 2 ∼ χ n − p 2 \lVert e\rVert^2/\sigma^2\sim\chi^2_{n-p} ∥ e ∥ 2 / σ 2 ∼ χ n − p 2 を得る。β ^ = A H Y \widehat\beta=AHY β = A H Y はH Y HY H Y の関数であり、s 2 s^2 s 2 はe e e の関数であるから、β ^ \widehat\beta β とs 2 s^2 s 2 も独立である。
(3) を示す。(1) により
Z j = β ^ j − β j σ c j j ∼ N ( 0 , 1 ) Z_j=\frac{\widehat\beta_j-\beta_j}{\sigma\sqrt{c_{jj}}}\sim N(0,1) Z j = σ c j j β j − β j ∼ N ( 0 , 1 ) である。X ⊤ X X^\top X X ⊤ X は正定値なのでc j j > 0 c_{jj}>0 c j j > 0 である。(2) によりZ j Z_j Z j と( n − p ) s 2 / σ 2 (n-p)s^2/\sigma^2 ( n − p ) s 2 / σ 2 は独立である。自由度が正のカイ二乗分布は零に確率を置かないためP ( s = 0 ) = 0 P(s=0)=0 P ( s = 0 ) = 0 であり、§E14.3 定義 2.2 (2) より、零集合上で定めた値にかかわらず表示した比はt n − p t_{n-p} t n − p に従う。
(4) を示す。M 0 = span { 1 } \mathcal M_0=\operatorname{span}\{\mathbf1\} M 0 = span { 1 } 、M 1 = col ( X ) \mathcal M_1=\operatorname{col}(X) M 1 = col ( X ) とおくと、帰無仮説はX β ∈ M 0 X\beta\in\mathcal M_0 X β ∈ M 0 と同値である。M 0 \mathcal M_0 M 0 とM 1 \mathcal M_1 M 1 への直交射影はそれぞれY ↦ Y ‾ 1 Y\mapsto\overline Y\mathbf1 Y ↦ Y 1 とH H H である。したがって定理 2.1 の分子はESS \operatorname{ESS} ESS 、分母はRSS \operatorname{RSS} RSS となり、主張した F 法則を得る。▨
命題 3.2. 定理 3.1 と同じ仮定を置き、0 < α < 1 0<\alpha<1 0 < α < 1 とする。q = q t n − p ( 1 − α / 2 ) > 0 q=q_{t_{n-p}}(1-\alpha/2)>0 q = q t n − p ( 1 − α /2 ) > 0 とし、c j j = [ ( X ⊤ X ) − 1 ] j j c_{jj}=[(X^\top X)^{-1}]_{jj} c j j = [( X ⊤ X ) − 1 ] j j とおく。このとき次が成り立つ。
各係数β j \beta_j β j の水準1 − α 1-\alpha 1 − α の正確な信頼区間は
β ^ j ± q s c j j \widehat\beta_j\mathbin{\pm}q s\sqrt{c_{jj}} β j ± q s c j j
である。
固定したx 0 ∈ R p ∖ { 0 } x_0\in\R^p\setminus\{0\} x 0 ∈ R p ∖ { 0 } における平均応答x 0 ⊤ β x_0^\top\beta x 0 ⊤ β の水準1 − α 1-\alpha 1 − α の正確な信頼区間は
x 0 ⊤ β ^ ± q s x 0 ⊤ ( X ⊤ X ) − 1 x 0 x_0^\top\widehat\beta\mathbin{\pm}q s\sqrt{x_0^\top(X^\top X)^{-1}x_0} x 0 ⊤ β ± q s x 0 ⊤ ( X ⊤ X ) − 1 x 0
である。x 0 = 0 x_0=0 x 0 = 0 の場合には同じ表示は一点集合[ 0 , 0 ] [0,0] [ 0 , 0 ] となり、平均応答を確率1 1 1 で被覆する。
ε 0 ∼ N ( 0 , σ 2 ) \varepsilon_0\sim N(0,\sigma^2) ε 0 ∼ N ( 0 , σ 2 ) を既存標本Y Y Y 全体と独立とし、Y 0 = x 0 ⊤ β + ε 0 Y_0=x_0^\top\beta+\varepsilon_0 Y 0 = x 0 ⊤ β + ε 0 とする。このとき新しい観測Y 0 Y_0 Y 0 の水準1 − α 1-\alpha 1 − α の正確な予測区間は
x 0 ⊤ β ^ ± q s 1 + x 0 ⊤ ( X ⊤ X ) − 1 x 0 x_0^\top\widehat\beta\mathbin{\pm}q s\sqrt{1+x_0^\top(X^\top X)^{-1}x_0} x 0 ⊤ β ± q s 1 + x 0 ⊤ ( X ⊤ X ) − 1 x 0
である。s > 0 s>0 s > 0 である標本点では、この予測区間の半幅は、同じx 0 x_0 x 0 における平均応答の信頼区間の半幅より大きい。s = 0 s=0 s = 0 である標本点では、二つの半幅はともに零である。
証明. (1) は定理 3.1 (3) とt t t 分布の対称性から
P ( − q ≤ β ^ j − β j s c j j ≤ q ) = 1 − α P\!\left(-q\leq\frac{\widehat\beta_j-\beta_j}{s\sqrt{c_{jj}}}\leq q\right)=1-\alpha P ( − q ≤ s c j j β j − β j ≤ q ) = 1 − α を得る。前定理の証明でP ( s = 0 ) = 0 P(s=0)=0 P ( s = 0 ) = 0 を示したので、ほとんど確実にこの不等式をβ j \beta_j β j について解くことができ、表示した区間を得る。
(2) を示す。x 0 ≠ 0 x_0\ne0 x 0 = 0 ならばX ⊤ X X^\top X X ⊤ X の正定値性によりh 0 = x 0 ⊤ ( X ⊤ X ) − 1 x 0 > 0 h_0=x_0^\top(X^\top X)^{-1}x_0>0 h 0 = x 0 ⊤ ( X ⊤ X ) − 1 x 0 > 0 である。定理 3.1 (1) と定理 3.1 (2) により
x 0 ⊤ β ^ − x 0 ⊤ β s h 0 ∼ t n − p \frac{x_0^\top\widehat\beta-x_0^\top\beta}{s\sqrt{h_0}}\sim t_{n-p} s h 0 x 0 ⊤ β − x 0 ⊤ β ∼ t n − p である。第一の区間と同じ反転により正確な被覆確率1 − α 1-\alpha 1 − α を得る。x 0 = 0 x_0=0 x 0 = 0 ならば推定対象と区間の両方が恒等的に零であるため、被覆確率は1 1 1 である。
(3) を示す。A = ( X ⊤ X ) − 1 X ⊤ A=(X^\top X)^{-1}X^\top A = ( X ⊤ X ) − 1 X ⊤ とおくと
Y 0 − x 0 ⊤ β ^ = ε 0 − x 0 ⊤ A ε Y_0-x_0^\top\widehat\beta=\varepsilon_0-x_0^\top A\varepsilon Y 0 − x 0 ⊤ β = ε 0 − x 0 ⊤ A ε は平均零、分散σ 2 ( 1 + h 0 ) \sigma^2(1+h_0) σ 2 ( 1 + h 0 ) の正規変数である。x 0 ⊤ A ε x_0^\top A\varepsilon x 0 ⊤ A ε はH ε H\varepsilon H ε の関数であり、s 2 s^2 s 2 は( I n − H ) ε (I_n-H)\varepsilon ( I n − H ) ε の関数である。定理 1.2 とε 0 \varepsilon_0 ε 0 の独立性により、表示した予測誤差とs 2 s^2 s 2 は独立である。したがって
Y 0 − x 0 ⊤ β ^ s 1 + h 0 ∼ t n − p \frac{Y_0-x_0^\top\widehat\beta}{s\sqrt{1+h_0}}\sim t_{n-p} s 1 + h 0 Y 0 − x 0 ⊤ β ∼ t n − p である。中央確率をY 0 Y_0 Y 0 について反転すると予測区間を得る。1 + h 0 > h 0 1+h_0>h_0 1 + h 0 > h 0 であるから、s > 0 s>0 s > 0 ならば予測区間の半幅は平均応答の信頼区間の半幅より大きく、s = 0 s=0 s = 0 ならば両方の半幅は零である。▨
4 一元配置分散分析
定理 4.1. g ≥ 2 g\geq2 g ≥ 2 とし、第j j j 群の標本サイズをn j ≥ 1 n_j\geq1 n j ≥ 1 、総標本数をN = ∑ j = 1 g n j > g N=\sum_{j=1}^g n_j>g N = ∑ j = 1 g n j > g とする。σ 2 > 0 \sigma^2>0 σ 2 > 0 とし、すべてのj ∈ { 1 , … , g } j\in\{1,\ldots,g\} j ∈ { 1 , … , g } とk ∈ { 1 , … , n j } k\in\{1,\ldots,n_j\} k ∈ { 1 , … , n j } について
Y j k = μ j + ε j k Y_{jk}=\mu_j+\varepsilon_{jk} Y j k = μ j + ε j k とし、ε j k \varepsilon_{jk} ε j k は互いに独立にN ( 0 , σ 2 ) N(0,\sigma^2) N ( 0 , σ 2 ) に従うとする。群平均と全平均を
Y ‾ j = 1 n j ∑ k = 1 n j Y j k , Y ‾ = 1 N ∑ j = 1 g ∑ k = 1 n j Y j k \overline Y_j=\frac1{n_j}\sum_{k=1}^{n_j}Y_{jk},
\qquad
\overline Y=\frac1N\sum_{j=1}^g\sum_{k=1}^{n_j}Y_{jk} Y j = n j 1 k = 1 ∑ n j Y j k , Y = N 1 j = 1 ∑ g k = 1 ∑ n j Y j k とおき、
SSW = ∑ j = 1 g ∑ k = 1 n j ( Y j k − Y ‾ j ) 2 , SSB = ∑ j = 1 g n j ( Y ‾ j − Y ‾ ) 2 \operatorname{SSW}=\sum_{j=1}^g\sum_{k=1}^{n_j}(Y_{jk}-\overline Y_j)^2,
\qquad
\operatorname{SSB}=\sum_{j=1}^g n_j(\overline Y_j-\overline Y)^2 SSW = j = 1 ∑ g k = 1 ∑ n j ( Y j k − Y j ) 2 , SSB = j = 1 ∑ g n j ( Y j − Y ) 2 と定める。このとき次が成り立つ。
∑ j , k ( Y j k − Y ‾ ) 2 = SSB + SSW \sum_{j,k}(Y_{jk}-\overline Y)^2=\operatorname{SSB}+\operatorname{SSW} ∑ j , k ( Y j k − Y ) 2 = SSB + SSW 。
帰無仮説H 0 : μ 1 = ⋯ = μ g H_0:\mu_1=\cdots=\mu_g H 0 : μ 1 = ⋯ = μ g のもとで、SSW = 0 \operatorname{SSW}=0 SSW = 0 の標本点では次の比を零と定めると
SSB / ( g − 1 ) SSW / ( N − g ) ∼ F g − 1 , N − g \frac{\operatorname{SSB}/(g-1)}{\operatorname{SSW}/(N-g)}\sim F_{g-1,N-g} SSW / ( N − g ) SSB / ( g − 1 ) ∼ F g − 1 , N − g
が成り立ち、SSB \operatorname{SSB} SSB とSSW \operatorname{SSW} SSW は独立である。
証明. R N \R^N R N の座標を組( j , k ) (j,k) ( j , k ) で添字付け、M 1 \mathcal M_1 M 1 を各群の内部で座標値が一定であるベクトル全体、M 0 = span { 1 } \mathcal M_0=\operatorname{span}\{\mathbf1\} M 0 = span { 1 } とする。dim M 1 = g \dim\mathcal M_1=g dim M 1 = g 、dim M 0 = 1 \dim\mathcal M_0=1 dim M 0 = 1 であり、M 0 ⊊ M 1 \mathcal M_0\subsetneq\mathcal M_1 M 0 ⊊ M 1 である。M 1 \mathcal M_1 M 1 への直交射影は各( j , k ) (j,k) ( j , k ) 座標をY ‾ j \overline Y_j Y j に写し、M 0 \mathcal M_0 M 0 への直交射影は各座標をY ‾ \overline Y Y に写す。したがって
RSS 1 = SSW , RSS 0 − RSS 1 = SSB \operatorname{RSS}_1=\operatorname{SSW},
\qquad
\operatorname{RSS}_0-\operatorname{RSS}_1=\operatorname{SSB} RSS 1 = SSW , RSS 0 − RSS 1 = SSB である。第一の等式と直交分解Y − P 0 Y = ( P 1 − P 0 ) Y + ( I N − P 1 ) Y Y-P_0Y=(P_1-P_0)Y+(I_N-P_1)Y Y − P 0 Y = ( P 1 − P 0 ) Y + ( I N − P 1 ) Y から(1) が従う。帰無仮説は平均ベクトルがM 0 \mathcal M_0 M 0 に属することと同値なので、定理 2.1 をr 0 = 1 r_0=1 r 0 = 1 、r 1 = g r_1=g r 1 = g として適用すると(2) の F 法則と独立性を得る。この議論はn 1 , … , n g n_1,\ldots,n_g n 1 , … , n g が等しいことを用いない。▨
例 4.2. 群サイズが等しくない場合を具体的に計算する。三群の観測を
( Y 11 , Y 12 ) = ( 1 , 3 ) , ( Y 21 , Y 22 , Y 23 ) = ( 4 , 5 , 6 ) , Y 31 = 8 (Y_{11},Y_{12})=(1,3),\qquad
(Y_{21},Y_{22},Y_{23})=(4,5,6),\qquad
Y_{31}=8 ( Y 11 , Y 12 ) = ( 1 , 3 ) , ( Y 21 , Y 22 , Y 23 ) = ( 4 , 5 , 6 ) , Y 31 = 8 とする。群サイズは( n 1 , n 2 , n 3 ) = ( 2 , 3 , 1 ) (n_1,n_2,n_3)=(2,3,1) ( n 1 , n 2 , n 3 ) = ( 2 , 3 , 1 ) 、総標本数はN = 6 N=6 N = 6 であり、群平均は( Y ‾ 1 , Y ‾ 2 , Y ‾ 3 ) = ( 2 , 5 , 8 ) (\overline Y_1,\overline Y_2,\overline Y_3)=(2,5,8) ( Y 1 , Y 2 , Y 3 ) = ( 2 , 5 , 8 ) である。群平均の単純平均は5 5 5 であるが、全平均は群サイズで重み付けされ、
Y ‾ = 2 ⋅ 2 + 3 ⋅ 5 + 1 ⋅ 8 6 = 9 2 \overline Y=\frac{2\cdot2+3\cdot5+1\cdot8}{6}=\frac92 Y = 6 2 ⋅ 2 + 3 ⋅ 5 + 1 ⋅ 8 = 2 9 となる。群内平方和と群間平方和はそれぞれ
SSW = { ( 1 − 2 ) 2 + ( 3 − 2 ) 2 } + { ( 4 − 5 ) 2 + ( 5 − 5 ) 2 + ( 6 − 5 ) 2 } + ( 8 − 8 ) 2 = 4 , SSB = 2 ( 2 − 9 2 ) 2 + 3 ( 5 − 9 2 ) 2 + ( 8 − 9 2 ) 2 = 51 2 \begin{aligned}
\operatorname{SSW}
&=\{(1-2)^2+(3-2)^2\}
+\{(4-5)^2+(5-5)^2+(6-5)^2\}
+(8-8)^2
=4,\\
\operatorname{SSB}
&=2\left(2-\frac92\right)^2
+3\left(5-\frac92\right)^2
+\left(8-\frac92\right)^2
=\frac{51}{2}
\end{aligned} SSW SSB = {( 1 − 2 ) 2 + ( 3 − 2 ) 2 } + {( 4 − 5 ) 2 + ( 5 − 5 ) 2 + ( 6 − 5 ) 2 } + ( 8 − 8 ) 2 = 4 , = 2 ( 2 − 2 9 ) 2 + 3 ( 5 − 2 9 ) 2 + ( 8 − 2 9 ) 2 = 2 51 である。全平方和も
∑ j , k ( Y j k − Y ‾ ) 2 = ( 1 − 9 2 ) 2 + ( 3 − 9 2 ) 2 + ( 4 − 9 2 ) 2 + ( 5 − 9 2 ) 2 + ( 6 − 9 2 ) 2 + ( 8 − 9 2 ) 2 = 59 2 \begin{aligned}
\sum_{j,k}(Y_{jk}-\overline Y)^2
&=\left(1-\frac92\right)^2+\left(3-\frac92\right)^2
+\left(4-\frac92\right)^2+\left(5-\frac92\right)^2\\
&\quad+\left(6-\frac92\right)^2+\left(8-\frac92\right)^2
=\frac{59}{2}
\end{aligned} j , k ∑ ( Y j k − Y ) 2 = ( 1 − 2 9 ) 2 + ( 3 − 2 9 ) 2 + ( 4 − 2 9 ) 2 + ( 5 − 2 9 ) 2 + ( 6 − 2 9 ) 2 + ( 8 − 2 9 ) 2 = 2 59 となる。したがって、
59 2 = 51 2 + 4 = SSB + SSW \frac{59}{2}=\frac{51}{2}+4=\operatorname{SSB}+\operatorname{SSW} 2 59 = 2 51 + 4 = SSB + SSW が確かめられる。自由度は群間でg − 1 = 2 g-1=2 g − 1 = 2 、群内でN − g = 3 N-g=3 N − g = 3 なので、観測された F 比は
F = ( 51 / 2 ) / 2 4 / 3 = 153 16 F=\frac{(51/2)/2}{4/3}=\frac{153}{16} F = 4/3 ( 51/2 ) /2 = 16 153 である。
5 回帰推測の数値例
例 5.1. n = 5 n=5 n = 5 、p = 2 p=2 p = 2 、x = ( 1 , 2 , 3 , 4 , 5 ) ⊤ x=(1,2,3,4,5)^\top x = ( 1 , 2 , 3 , 4 , 5 ) ⊤ 、y = ( 2 , 3 , 5 , 4 , 6 ) ⊤ y=(2,3,5,4,6)^\top y = ( 2 , 3 , 5 , 4 , 6 ) ⊤ とし、σ 2 > 0 \sigma^2>0 σ 2 > 0 のもとで切片を含む単回帰
Y i = β 1 + β 2 x i + ε i , ε i ∼ i i d N ( 0 , σ 2 ) Y_i=\beta_1+\beta_2x_i+\varepsilon_i,
\qquad
\varepsilon_i\overset{\mathrm{iid}}{\sim}N(0,\sigma^2) Y i = β 1 + β 2 x i + ε i , ε i ∼ iid N ( 0 , σ 2 ) を考える。x ‾ = 3 \overline x=3 x = 3 、y ‾ = 4 \overline y=4 y = 4 、S x x = 10 S_{xx}=10 S xx = 10 、S x y = 9 S_{xy}=9 S x y = 9 であるから、最小二乗推定値はβ ^ 1 = 1.3 \widehat\beta_1=1.3 β 1 = 1.3 、β ^ 2 = 0.9 \widehat\beta_2=0.9 β 2 = 0.9 である。当てはめ値は( 2.2 , 3.1 , 4.0 , 4.9 , 5.8 ) ⊤ (2.2,3.1,4.0,4.9,5.8)^\top ( 2.2 , 3.1 , 4.0 , 4.9 , 5.8 ) ⊤ 、残差は( − 0.2 , − 0.1 , 1.0 , − 0.9 , 0.2 ) ⊤ (-0.2,-0.1,1.0,-0.9,0.2)^\top ( − 0.2 , − 0.1 , 1.0 , − 0.9 , 0.2 ) ⊤ であり、
RSS = 1.90 , s 2 = 1.90 3 = 19 30 ≈ 0.6333 , s = 19 30 ≈ 0.7958 \operatorname{RSS}=1.90,
\qquad
s^2=\frac{1.90}{3}=\frac{19}{30}\approx0.6333,
\qquad
s=\sqrt{\frac{19}{30}}\approx0.7958 RSS = 1.90 , s 2 = 3 1.90 = 30 19 ≈ 0.6333 , s = 30 19 ≈ 0.7958 となる。また、TSS = 10 \operatorname{TSS}=10 TSS = 10 、ESS = 8.10 \operatorname{ESS}=8.10 ESS = 8.10 、R 2 = 0.81 R^2=0.81 R 2 = 0.81 、自由度調整済み決定係数は約0.7467 0.7467 0.7467 である。
c 22 = 1 / S x x = 0.1 c_{22}=1/S_{xx}=0.1 c 22 = 1/ S xx = 0.1 なので
se ( β ^ 2 ) = s c 22 = 19 300 ≈ 0.2517 , t = 9 10 300 19 ≈ 3.576 \operatorname{se}(\widehat\beta_2)=s\sqrt{c_{22}}=\sqrt{\frac{19}{300}}\approx0.2517,
\qquad
t=\frac9{10}\sqrt{\frac{300}{19}}\approx3.576 se ( β 2 ) = s c 22 = 300 19 ≈ 0.2517 , t = 10 9 19 300 ≈ 3.576 を得る。t 3 t_{3} t 3 分布の上側0.025 0.025 0.025 点は3.182 3.182 3.182 なので、傾きが零であるという帰無仮説は水準5 % 5\% 5% で棄却される。命題 3.2 (1) によるβ 2 \beta_2 β 2 の95 % 95\% 95% 信頼区間は
0.9 ± 3.182 ⋅ 0.2517 ≈ [ 0.099 , 1.701 ] 0.9\mathbin{\pm}3.182\cdot0.2517\approx[0.099,1.701] 0.9 ± 3.182 ⋅ 0.2517 ≈ [ 0.099 , 1.701 ] である。
モデルの F 統計量は
F = 8.10 / 1 1.90 / 3 = 243 19 ≈ 12.79 F=\frac{8.10/1}{1.90/3}=\frac{243}{19}\approx12.79 F = 1.90/3 8.10/1 = 19 243 ≈ 12.79 であり、F 1 , 3 F_{1,3} F 1 , 3 分布の上側0.05 0.05 0.05 点10.13 10.13 10.13 を超える。したがって全傾きが零であるという帰無仮説も水準5 % 5\% 5% で棄却される。単回帰ではF = t 2 F=t^2 F = t 2 が成り立ち、実際にt 2 = F = 243 / 19 ≈ 12.79 t^2=F=243/19\approx12.79 t 2 = F = 243/19 ≈ 12.79 である。
x 0 = ( 1 , 6 ) ⊤ x_0=(1,6)^\top x 0 = ( 1 , 6 ) ⊤ とすると、x 0 ⊤ β ^ = 6.7 x_0^\top\widehat\beta=6.7 x 0 ⊤ β = 6.7 かつ
x 0 ⊤ ( X ⊤ X ) − 1 x 0 = 1 5 + ( 6 − 3 ) 2 10 = 1.1 x_0^\top(X^\top X)^{-1}x_0
=\frac15+\frac{(6-3)^2}{10}=1.1 x 0 ⊤ ( X ⊤ X ) − 1 x 0 = 5 1 + 10 ( 6 − 3 ) 2 = 1.1 である。命題 3.2 (2) による平均応答の95 % 95\% 95% 信頼区間は
6.7 ± 3.182 ⋅ 0.7958 1.1 ≈ [ 4.04 , 9.36 ] 6.7\mathbin{\pm}3.182\cdot0.7958\sqrt{1.1}\approx[4.04,9.36] 6.7 ± 3.182 ⋅ 0.7958 1.1 ≈ [ 4.04 , 9.36 ] である。命題 3.2 (3) による独立な新観測の95 % 95\% 95% 予測区間は
6.7 ± 3.182 ⋅ 0.7958 2.1 ≈ [ 3.03 , 10.37 ] 6.7\mathbin{\pm}3.182\cdot0.7958\sqrt{2.1}\approx[3.03,10.37] 6.7 ± 3.182 ⋅ 0.7958 2.1 ≈ [ 3.03 , 10.37 ] である。平均応答の信頼区間の半幅は約2.66 2.66 2.66 、予測区間の半幅は約3.67 3.67 3.67 であり、新しい誤差を含む予測区間のほうが広い。