データの分析 | 場合の数と確率統計

1 分布の中心

定義 1.1 (平均値・中央値・最頻値). $n\geq1$ とし、データを $x_1,\ldots,x_n$ とする。平均値は

\bar{x}=\frac{x_1+\cdots+x_n}{n}

と定める。データを小さい順に並べたとき、 $n$ が奇数ならば中央の値を中央値とし、 $n$ が偶数ならば中央の二つの値の平均を中央値とする。最大の度数をもつ値を最頻値とする。最大の度数をもつ値が複数ならば、それらをすべて最頻値とし、すべての値の度数が等しい場合には最頻値なしとする。

例 1.2 (外れた値による違い). データ $2,3,3,4,18$ の平均値は $(2+3+3+4+18)/5=6$ であり、中央値と最頻値はともに $3$ である。値18はほかの値から離れているため、平均値は中央値より大きい。このデータの中心を要約するときは、平均値だけでなく、中央値とデータの並びも確認する必要がある。

注意 1.3 (外れ値と代表値). データ $1,2,2,3,12$ の平均値は4、中央値は2である。12が入力誤りであると確認したうえで除くと、平均値と中央値はともに2になる。外れ値を残すか除くかは代表値の変化だけでは決めず、入力と測定の過程を調べて判断する。

2 散らばり

定義 2.1 (分散と標準偏差). $n\geq1$ とし、データ $x_1,\ldots,x_n$ の平均値を $\bar{x}$ とする。分散 $s^2$ と標準偏差 $s$ を

s^2=\frac1n\sum_{i=1}^{n}(x_i-\bar{x})^2,\qquad s=\sqrt{s^2}

と定義する。

計算では次の公式も用います。

公式 2.2 (分散の計算公式). $n\geq1$ 個のデータ $x_1,\ldots,x_n$ の平均値を $\bar{x}$ 、分散を $s^2$ とする。このとき

s^2=\frac1n\sum_{i=1}^{n}x_i^2-\bar{x}^{\,2}

が成り立つ。

証明. $1\leq i\leq n$ について $(x_i-\bar{x})^2=x_i^2-2\bar{x}x_i+\bar{x}^2$ と展開する。この等式の総和を取ると

s^2=\frac1n\sum_{i=1}^n x_i^2-\frac{2\bar{x}}n\sum_{i=1}^n x_i+\frac1n\sum_{i=1}^n\bar{x}^2

となる。 $\sum_{i=1}^n x_i=n\bar{x}$ と $\sum_{i=1}^n\bar{x}^2=n\bar{x}^2$ を代入すると

s^2=\frac1n\sum_{i=1}^n x_i^2-2\bar{x}^2+\bar{x}^2 =\frac1n\sum_{i=1}^n x_i^2-\bar{x}^2

を得る。▨

3 相関係数

定義 3.1 (相関係数). $n\geq1$ とし、組になったデータを $(x_i,y_i)$ （ $1\leq i\leq n$ ）とする。 $x$ と $y$ の平均値を $\bar{x}$ 、 $\bar{y}$ とし、共分散を

s_{xy}=\frac1n\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})

と定義する。 $x$ と $y$ の標準偏差 $s_x,s_y$ がともに正であるとき、相関係数を

r=\frac{s_{xy}}{s_xs_y}

と定義する。

相関係数は直線的な関係の向きと強さを測ります。 $r$ が0に近いことは、関係がないことを意味しません。

例 3.2 (相関係数が0でも関係がある例). $x=-2,-1,0,1,2$ に対して $y=x^2$ とする。 $x$ の平均値は0であり、 $y=4,1,0,1,4$ の平均値は2である。したがって、共分散は

\frac15\{(-2)(4-2)+(-1)(1-2)+0(0-2)+1(1-2)+2(4-2)\}=0

となる。 $x$ と $y$ はどちらもすべて同じ値ではないため $s_x,s_y>0$ であり、相関係数は $r=0$ である。一方、二つの量の間には $y=x^2$ という非線形な関係がある。

相関から因果を結論することもできません。共通の原因、対象の選び方による偏り、逆向きの因果などを区別するには、データが生じた過程を調べる必要があります。

注意 3.3 (仮説のもとでの起こりにくさ). ある仮説が観測値の確率分布を定める場合には、実際のデータと同程度以上に仮説から離れた結果が、その分布のもとでどの程度起こりにくいかを調べることができる。起こりにくい結果は仮説を再検討する材料になるが、その確率を仮説が正しい確率と読むことはできない。検定の定式化は「統計的推測」が扱う。

4 集計による関係の反転

集団をまとめる前後で割合の大小が逆転することがあります。

例 4.1 (Simpson のパラドックス). 次の仮想データについて、治療AとBの回復数を軽症と重症に分けて考える。

群	治療A	治療B
軽症	81/87	234/270
重症	192/263	55/80

軽症では、治療Aの回復率は $81/87\approx93.1\%$ 、治療Bは $234/270\approx86.7\%$ である。重症では、治療Aは $192/263\approx73.0\%$ 、治療Bは $55/80=68.75\%$ である。したがって、どちらの群でも治療Aの回復率が高い。一方、全体では治療Aが $273/350=78\%$ 、治療Bが $289/350\approx82.6\%$ となり、大小が逆転する。治療Aでは重症者が $263/350\approx75.1\%$ 、治療Bでは $80/350\approx22.9\%$ を占めるため、回復率が低い重症者の構成比の違いが全体の割合を反転させる。

この例だけから治療効果を結論することはできません。重症度の定義、割り付け方法、測定条件なども必要です。

5 演習

問題 5.1. データ $1,2,2,3,12$ の平均値、中央値、最頻値、分散を求めよ。

解答.

平均値は $(1+2+2+3+12)/5=4$ であり、中央値と最頻値はともに2である。分散は

\frac{(1-4)^2+(2-4)^2+(2-4)^2+(3-4)^2+(12-4)^2}{5} =\frac{82}{5}=16.4

である。▨

問題 5.2. 相関係数が0に近いことから結論することができる内容と、結論することができない内容を説明せよ。

解答.

相関係数が0に近ければ、二つの量の直線的な関係は弱いと判断することができる。ただし、非線形な関係が存在しないことや、二つの量の間に因果関係が存在しないことは結論することができない。▨

問題 5.3.例 4.1の表について、集計前後の割合を再計算し、大小が反転する理由を人数の配分から説明せよ。

解答.

軽症では $81/87\approx93.1\%>234/270\approx86.7\%$ 、重症では $192/263\approx73.0\%>55/80=68.75\%$ であり、どちらも治療Aの割合が高い。全体では治療Aが $(81+192)/(87+263)=273/350=78\%$ 、治療Bが $(234+55)/(270+80)=289/350\approx82.6\%$ であり、治療Bの割合が高い。治療Aには重症者が263人、治療Bには80人含まれ、回復率が低い重症者の構成比が異なるため、集計すると大小が反転する。▨

§B4.6データの分析

1 分布の中心

2 散らばり

3 相関係数

4 集計による関係の反転

5 演習

例題

演習

前提記事