読めば必ずわかる 分散分析の基礎 第 2 版 2003 年 12 月 5 日 小野 滋 ' $ この解説書は,分散分析の基礎について, 可能な限りわかりやすく,かつ詳しく 説明することを目的としています。 簡潔さは犠牲にし,長くてくどいかわりに, 読めばわからずにはいられない 説明を目指したいと思います。 なお,説明中に用いる記号は,後藤ほか (編)「心理学マニュアル 要因計画法」(北大路 書房) に準じています。 & % 2 目次 目次 第 I 部 はじめに 3 1 予備知識 3 2 なぜ分散には 2 種類あるのか? 6 3 平方和,自由度,平均平方 11 4 なぜ分散分析が必要か? 12 第 II 部 基礎編 14 5 構造モデル 15 6 分散分析の前提 16 7 分散分析の発想 17 8 平方和の分解 19 9 平均平方の算出 21 10 平均平方の意義 22 11 F 検定 25 12 まとめ: 1 要因の分散分析 26 3 第I部 はじめに 1 予備知識 ' $ この解説書では,全くの初学者を念頭において,できるかぎり易しい説明を試みます。 それでも,説明の都合上,データ解析と実験研究について,ある程度の知識が必要です。 そこで,読み進めるのにどうしても必要だと思われる予備知識を,17 項目にまとめて みました。以下のリストに目を通して,もし理解できない箇所があったら,その箇所を 復習してから,先に進んで下さい。 & % ■量的データの記述 1.1 量的データの全体的な大きさをあらわす指標として,平均が用いられることが多い。データ x1 , x2 , . . . , xn の平均 x̄(「エックス・バー」) は, n 1X x̄ = xi n i=1 として求められる。 1.2 量的データのばらつきをあらわす指標として,分散と標準偏差(SD ともいう) が用いられる ことが多い。データ x1 , x2 , . . . , xn の 分散 s2 は, n 1X s = (xi − x̄)2 n i=1 2 として求められる。また標準偏差 s は, s= √ s2 として求められる。 ■母集団と標本 2.1 ある変量について,分析者が関心を持っている値の全体を,母集団 と呼ぶ。 2.2 いっぽう,手元にあるデータの集まりを,標本 と呼ぶ。標本のなかに含まれている値の数 を,標本のサイズと呼ぶ。 2.3 標本はいわば,母集団から取り出した (抽出した) 値の集まりである,と考えることができ る。標本の性質をもとに,母集団の性質を推測するためには,標本は次の 2 つの性質を備え ていなければならない: 4 1 予備知識 不偏性 : 母集団から偏りなく抽出されていること 独立性 : 個々のデータが,互いに影響を及ぼしていないこと これらの性質を備えている標本のことを,無作為標本と呼ぶ。 ■確率分布 3.1 とりうる実現値にそれぞれ確率が割りふられている変数のことを,確率変数という。また, それぞれの実現値に確率が割りふられているようすのことを,確率分布という。 3.2 重要な確率分布のひとつに,正規分布がある。平均 0, 分散 1 の正規分布を,とくに標準正 規分布と呼ぶ。 ■母集団特性の推定 サイズ n の無作為標本から,母集団の性質について推定するとき, 4.1 母平均 µ (「ミュー」) の推定のためには,標本平均 x̄ を用いるとよい。 4.2 母分散 σ 2 (「シグマの二乗」) の推定のためには,標本分散 s2 を少し大きめに修正した不偏 分散 n u2 = 1 X (xi − x̄)2 n − 1 i=1 を用いるとよい。 ■仮説検定 5.1 仮説検定と呼ばれる手法は,次の 4 つの段階からなる。 1. 帰無仮説(H0 ) を設定する。 2. 検定統計量を定める。 3. 決められた有意水準のもとでの棄却域を定める。 4. 標本から検定統計量の値を求め,棄却域と比較して,帰無仮説の棄却の有無を決定する。 5.2 有意水準は,「帰無仮説が真のとき,誤って帰無仮説を棄却してしまう」確率をあらわして いる。5% ないし 1% がよく用いられる。 ■実験研究の基礎概念 6.1 実験とは,いくつかの変数の値を研究者が操作し,それが別の変数にどう影響するか,を調 べる研究のことである。 6.2 したがって実験研究では,変数は次の 3 つのどれかに分類されることになる。 従属変数 測定される変数。“原因-結果” という文脈でいえば,結果の側。 独立変数 研究者が操作する変数。要因, 処理, 説明変数, などともいう。 剰余変数 従属変数に影響を与えるかもしれないのに,研究者が操作していない変数。 6.3 独立変数のとる値は,いくつかに限られるのがふつうである。このとき,それぞれの値を水 準という。 5 6.4 独立変数が複数ある実験の場合,水準と水準の組み合わせのことをセルという。 6.5 あるセルのなかにある測定値の数のことを,繰り返し数と呼ぶ。 6.6 心理学での実験研究においては,独立変数 (要因) の操作のしかたを,つぎの 2 種類におお まかにわけることができる。 被験者間要因 : 要因の各水準ごとに,異なる被験者が用意される場合 被験者内要因 : 各被験者が,その要因のすべての水準の下で実験を行う場合 6 2 2 なぜ分散には 2 種類あるのか? なぜ分散には 2 種類あるのか? ' $ 予備知識 4.2 として挙げた「不偏分散」については,多くの人が納得のいかない思いを するようです。なぜ,本来の分散 (標本分散) のほかに,不偏分散が必要なのでしょうか? この 2 つはどのように使いわければ良いのでしょうか? そこで,以下に 3 通りの説明 (梅,竹,松) を用意しました。先に進むほど,突っ込ん だ議論になります。 すくなくとも,梅コースの内容については,きちんと理解してください。竹コース・松 コースは,読み飛ばしてもかまいません。 & % 2.1 梅コース データ x1 , x2 , · · · , xn について,全体的な大きさをあらわす指標としては,平均 n 平均 x̄ = 1X x n i=1 がよく用いられる。 また,値のばらつきをあらわす指標としては n 1X 標本分散 s = (x − x̄)2 n i=1 2 n 1 X 不偏分散 u = (x − x̄)2 n − 1 i=1 2 の 2 種類がよくもちいられる。 データについて述べる際,標本分散 s2 (ないし標本標準偏差 s) を用いるべきか,それとも不偏分 散 u2 (ないし不偏標準偏差 u) を用いるべきかは,記述の目的によって決まる問題である。 • 手元のデータそのものについての要約に重点がある場合には,標本分散を • 母集団についての推測に重点がある場合には,不偏分散を 用いるのが理にかなっている。もっとも,どちらを使ってもおかしくないケースも多い。 2.2 竹コース 7 2.2 竹コース 手元にあるデータ x1 , x2 , · · · , xn が,ある母集団からの無作為標本だとみなせる場合について考 える。母集団のなかには無限個の (ないし,非常に多くの) 値が含まれていると考えられるが,それ ら無限個の値にも,平均や分散があると考えることができるだろう。ここで,母平均 (母集団の平 均) を µ,母分散 (母集団の分散) を σ 2 と表記することにする。 では,手元にあるデータから,母集団の性質を推測する方法について考えてみよう。 ■母平均の推定量 まず,母平均 µ を推定するためには,標本のどのような性質に着目すればよい だろうか。いろいろな考え方がありうるが,一般的にいって,標本平均 x̄ に着目するやり方が,一 番優れていることがわかっている。そこで,母平均 µ の推定のためには,標本平均 x̄ を用いる。 ■母分散の推定量 ところが,母分散 σ 2 の推定という問題は,さほど簡単ではない。標本の分散 s2 は,一般的にいって,σ 2 よりも少し小さめの値になってしまう。なぜか? もともと分散とは, 「それぞれの値と平均との距離 (偏差) の二乗の平均」をあらわすものである。 だから,σ 2 の推定量としては,本来は 1 n P (xi − µ)2 がふさわしいのである。 しかし現実には,母平均 µ の値はわからないので,標本平均 x̄ で代用せざるを得ない。ところ P P (xi − x̄)2 は,本来の推定量 n1 (xi − µ)2 よりも,少し小さめになってしまう。なぜなら, P いま任意の値 c について (xi − c)2 を求めることにすると,その値が一番小さくなるのは,c が が 1 n x̄ に一致するときだからである。 そこで,s2 を少し大きめに修正したものを,σ 2 の推定量にすればいい,という考え方が登場す る。この修正された分散を「不偏分散」と呼んでいる。ここで, n 不偏分散 u2 = 1 X (xi − x̄)2 n − 1 i=1 であるということがわかっている (2.3 参照)。母分散 σ 2 の推定のためには,この不偏分散 s2 を用 いる。なお,不偏分散と区別するために,本来の分散を「標本分散」と呼ぶことがある。 8 2 なぜ分散には 2 種類あるのか? 2.3 松コース では,なぜ不偏分散 u2 の分子は n − 1 なのだろうか? どうしても気になってしかたがないあな たのために,徹底的な説明をお送りしよう。 2.3.1 確率変数と期待値 まず,期待値という概念を導入する。少し抽象的な話になるので,ゆっくり読み進めてほしい。 数学の世界では,取りうる値 (実現値) に確率が割り振られているような変数のことを,確率変数 と呼んでいる。ある確率変数 Y について,その確率分布の平均を,Y の期待値 E(Y ) と呼ぶ。 たとえば,「サイコロを振ったときに出る目」という変数 X は,実現値 (1, 2, 3, 4, 5, 6) に確率が 割り振られているので (すべて 1/6),確率変数だということができる。その期待値 E(X) は,サ イコロを無限回振って手にはいる,無限個の目 (1, 1, 1, . . . , 2, 2, 2, . . . , 6, 6, 6) の平均値,すなわち 3.5 である。 ■ある変量の期待値 いま手元に,ある変量についての n 個のデータ x1 , x2 , · · · , xn があるとしよ う。これらのデータは,いわば X という謎のサイコロを n 回振って手に入れた値だ,とみなすこ とができる。つまり,変量 X は,確率変数だとみなすことができるわけである。 その期待値 E(X) とは,「データサイズ n が無限大にまで大きくなったときに,そこから得られ る平均」のことである。手元のデータがなんらかの母集団の無作為標本であるならば,「無限大の 大きさの標本」とは,すなわち母集団のことになる。だから,これは母平均 µ をあらわしている。 すなわち, E(X) = µ ■ある変量のばらつきの期待値 (1) つぎに,変量 X のあるひとつのデータと,その母平均 µ とのず れの大きさについて考えてみたい。そのためには,ずれの絶対値 |X − µ| ついて考えればよいだろ う。しかし,絶対値は数学的に扱いが面倒なので,そのかわりに,ずれの二乗 (X − µ)2 について 考えることにする。 その期待値 E[(X − µ)2 ] とは,「無限大のサイズの標本について,すべてのデータからそれぞれ の (X − µ)2 を求めた,その平均」のことである。さきにみたように, 「無限大の大きさの標本」は 2.3 松コース 9 母集団に相当するから,結局これは母分散 σ 2 のことである。すなわち, E[(X − µ)2 ] = σ 2 ■データの平均の期待値 (2) では,上の n 個のデータから求める統計量,たとえば平均 X̄ について 考えてみよう。この値は,その値が確率的に決まるという意味で,いわば X̄ という謎のサイコロ を 1 回振って手に入れた値だ,とみなすことができる。つまり,標本平均 X̄ もまた,確率変数だ とみなすことができる。 その期待値 E(X̄) とは,「もし標本抽出を無限回繰り返し,標本平均が無限個手に入ったら,そ れらの平均はなにか」を意味する。当然それは,母平均 µ に一致する。すなわち, E(X̄) = µ (3) である。 ところでこの式は,「標本平均 X̄ は母平均 µ の不偏推定量 (偏りのない推定量) だ」ということ に対応している。このように, 「標本から得られる統計量○○は,母集団の特性××の不偏推定量だ」ということを, E(○○) = ×× とあらわすことができる。 ■データの平均のばらつきの期待値 さて,標本平均 X̄ は,母平均 µ からさほど遠くない推定を 与えてくれることもあれば,大きく外してしまうこともあるだろう。そのばらつきの程度につい て考えてみたい。そのためには,推定のずれの絶対値 |X̄ − µ| の期待値について考えればよいだ ろう。しかし,絶対値は数学的に扱いが面倒なので,そのかわりに,推定のずれの二乗の期待値 E[(X̄ − µ)2 ] について考えることにしよう。 証明は省くが,次の式が成り立つことがわかっている。 E[(X̄ − µ)2 ] = σ2 n (4) この式は, 「母平均 µ を,標本平均 X̄ を用いて推定するとき,その推定のずれは,母集団の値のば らつき σ 2 が大きいときに大きく,標本サイズ n が大きいときに小さい」という,ごくあたりまえ の事柄に対応している。 10 2 なぜ分散には 2 種類あるのか? 2.3.2 なぜ n − 1 か では,いよいよ本題に戻ろう。まず, u2 の分子の部分を変形する。 X X (xi − x̄)2 [(xi − µ) + (µ − x̄)]2 X X X = (xi − µ)2 + 2 (xi − µ)(µ − x̄) + (x̄ − µ)2 X X = (xi − µ)2 − 2(x̄ − µ) (xi − µ) + n(x̄ − µ)2 X X = (xi − µ)2 − 2(x̄ − µ)( xi − nµ) + n(x̄ − µ)2 X = (xi − µ)2 − 2(x̄ − µ)(nx̄ − nµ) + n(x̄ − µ)2 X = (xi − µ)2 − 2n(x̄ − µ)2 + n(x̄ − µ)2 X = (xi − µ)2 − n(x̄ − µ)2 = 第1項 P (xi − µ)2 の期待値は, X E[ (xi − µ)2 ] =E[(x1 − µ)2 ] + E[(x2 − µ)2 ] + · · · + E[(xn − µ)2 ] =σ 2 + σ 2 + · · · + σ 2 ←式 (2) =nσ 2 第 2 項 n(x̄ − µ)2 の期待値は, E[n(x̄ − µ)2 ] =n × E[(x̄ − µ)2 ] =n × σ2 ←式 (4) n =σ 2 従って E · E hX 1 n−1 i (xi − x̄)2 = nσ 2 − σ 2 = (n − 1)σ 2 ¸ X 2 (xi − x̄) = σ 2 であり,不偏分散 u2 が母分散 σ 2 の不偏推定量であることがわかる。 11 3 平方和,自由度,平均平方 今後の説明の都合上,いくつかの用語を紹介しておく。 ■平方和 2 種類の分散 n 1X 標本分散 s = (xi − x̄)2 n i=1 2 n 不偏分散 u2 = は,分子 1 X (xi − x̄)2 n − 1 i=1 P (x − x̄)2 が共通している。この部分は,偏差の平方 (二乗のこと) の合計なので,偏差 平方和と呼んだり,単に平方和(SS と略記する) と呼んだりする。変動と呼ぶこともある。 ■自由度 いっぽう,不偏分散の分子の部分 n − 1 を,この平方和の自由度(df と略記する) と呼ぶ。 自由度とは,自由に値をとることができる変数の数を指す用語である。たとえば,3 つの変数 X1 , X2 , X3 があるとしよう。これらの変数の値について,平均と平方和を求める式は, X1 + X2 + X3 3 平方和 SS = (X1 − X̄)2 + (X2 − X̄)2 + (X3 − X̄)2 平均 X̄ = となる。さて,平方和の式の右辺には,3 つの変数が登場するが,X̄ が決まっているとすると,自 由に動ける変数は 2 つしかない (もし X̄ = 10, X1 = 9, X2 = 10 ならば,X3 の値は 11 に決まっ てしまう)。このことを指して,この平方和の自由度は 2 である,と言う。 ■平均平方 平方和を自由度で割ったもののことを,平均平方と呼ぶ (M S と略記する)。従って, 2 章で示したのは, 「標本の平均平方は母分散の不偏推定量である」ということであった,といいか えることができる。 12 4 4 なぜ分散分析が必要か? なぜ分散分析が必要か? 4.1 水準が 3 つ以上のときに必要だ たとえば,次のような問題について考えてみよう。 例題 1 (後藤ほか編, p.30) 生徒の学習形態のちがいが,課題の達成に影響するかどうかを調べるために,あらか じめ学力の等しい生徒をランダムにわけて,3 つのグループを構成した。グループ 1 で は一斉指導,グループ 2 では体験学習,グループ 3 では仲間による討議学習をおこなっ た。授業終了後,課題の到達度テストを実施したところ,次の得点 (略) が得られた。3 つの学習形態のあいだに差はあるか。 この例題について検討する際には,2 つの路線がある。 ■多重比較 ひとつの路線は,この問題を,次の 3 つの問題と,それに対応する帰無仮説 (H0 ) に 分割する考え方である。 • 一斉指導と体験学習のあいだで,得点のちがいはあるか? (H0 : µ1 = µ2 ) • 体験学習と討議学習のあいだで,得点のちがいはあるか? (H0 : µ2 = µ3 ) • 一斉指導と討議学習のあいだで,得点のちがいはあるか? (H0 : µ1 = µ3 ) これらの帰無仮説 (H0 ) のそれぞれについて,仮説検定の手法を用いて検討すればよい。 この路線はわかりやすいし,アイデアそれ自体はまちがっていない。しかし,この路線に沿っ て,単純に t 検定を繰り返すのは,統計学的にみて,深刻な誤りである (コラム参照)。このような 場合には,多重比較と呼ばれる手法を用いなければならない。 ■分散分析 もうひとつの路線は, • 3 種類の学習形態の間に, 得点のちがいはあるか? (H0 : µ1 = µ2 = µ3 ) という問題ひとつだけについて,仮説検定の手法を用いて検討することである。これを可能にして くれるのが分散分析である。 たいていの場合,多重比較よりも分散分析のほうが簡単だし,結果も解釈しやすい。 4.2 要因が 2 つ以上あるときに必要だ ■分散分析から多重比較へ 13 分散分析路線の欠点は,仮に「3 つの学習形態の間に 得点のちがい がある」という結果が得られたとしても,それではどれとどれの間にちがいがあるのかはわからな い,という点である。 そこで,まず分散分析をおこない,「3 つの学習形態の間に 得点のちがいがあるか」という点を 調べ,ちがいがあることがわかったら,こんどは多重比較によって,「どれとどれの間にちがいが あるか」を調べる,という方法が広く用いられている。このとき,後半の多重比較のことを,とく に下位検定と呼ぶ。 4.2 要因が 2 つ以上あるときに必要だ この例題では,要因がひとつしかない。しかし,実験研究では,複数個の要因を同時に制御する ことも多い。そのような場合には,分散分析の考え方がどうしても必要になる。 コラム:なぜ検定を単純に繰り返してはいけないのか 有意水準 5% で検定をおこなうとする。いま帰無仮説 H0 が真であるとすると,誤って H0 を棄却 する確率 (タイプ I エラーの確率) は 0.05 である。さて,ひとつの論文のあちこちで,いろいろな 問題について別々のデータ解析がおこなわれているとする。検定が 3 回おこなわれているとしよ う。いま,検討されている 3 つの H0 がすべて真であるときに,「論文のなかのどこか 1 箇所以上 でタイプ I エラーを犯す確率」は, 1 − 0.953 = 0.14 と,意外に高くなる。10 回のときには,実に 0.40 である。 さらに,異なる検定が同じデータに基づいている場合には,より深刻な問題が生じる。たとえ ば,A, B, C の 3 群間で,A vs. B, B vs. C, C vs. A の 3 つの t 検定をおこなったとしよう。いま, A の標本平均が,運悪く真の平均よりもずっと高かったとすると,その場合,A vs. B の t 検定で も,A vs. C の t 検定でも,H0 が棄却されやすくなる。従って,検討されている 3 つの H0 がすべ て真であるときに,「どこか 1 箇所以上でタイプ I エラーを犯す確率」は,1 − 0.953 = 0.14 より も高くなり,予想がつかなくなる。 このように,単純に検定を繰り返すと, • 全体を通じたタイプ I エラーの確率が高くなる。 • データが独立でない場合,タイプ I エラーの確率がわからなくなる。 このような場合には,多重比較のための特別な検定手法を用いなければならない。 14 第 II 部 基礎編 それではいよいよ,分散分析の考え方についての説明をはじめよう。次の例題を用いて説明する ことにする。 例題 1 (後藤ほか編, p.30) 生徒の学習形態のちがいが,課題の達成に影響するかどうかを調べるために,あらかじめ学力の 等しい生徒をランダムにわけて,3 つのグループを構成した。グループ 1 では一斉指導,グループ 2 では体験学習,グループ 3 では仲間による討議学習をおこなった。授業終了後,課題の到達度テ ストを実施したところ,次の得点が得られた。3 つの学習形態のあいだに差はあるか。 学習形態 平均 サイズ 一斉指導 体験学習 討議学習 5 4 6 3 3 7 6 5 3 5 4.7 10 8 4 3 3 7 9 8 7 3 4 5.6 10 7 6 8 9 10 9 8 9 7 8 8.1 10 全平均 6.1 実際の数値を書いているとわかりにくいので,説明文中では下の記号を用いることにする。 要因 A 平均 サイズ 水準 A1 水準 A2 水準 A3 x11 x21 x31 .. . x12 x22 x32 .. . x13 x23 x33 .. . xn1 T̄1 n xn2 T̄2 n xn3 T̄3 n 全平均 Ḡ 15 5 構造モデル まず,例題 1 の特徴を確認しておこう。独立変数(要因) はひとつ,3 水準,水準間にデータの対 応がない (いわゆる被験者間要因)。各水準での標本サイズ (繰り返し数) は等しい。 例題 1 のデータについて,「一斉指導群 1 番さんの得点 (5) は,一斉指導を受けた被験者が本来 示す得点 (µ1 ) に,なんらかの影響 (ε11 ) が加わったものだ」というふうに考えてみよう。ここでい う “なんらかの影響” とは,学習形態とは無関係な要因すべて,つまり,(この被験者の努力といっ た) 剰余変数がもたらす影響や,測定の誤差,偶然に生じる値のばらつきなどが含まれる。これを ひとことで,誤差と呼ぶことにする。 一斉指導群 1 番さんの得点 (5) = 一斉指導群の母平均 (µ1 ) + 誤差 (ε11 ) 一斉指導群 2 番さんの得点 (4) = 一斉指導群の母平均 (µ1 ) + 誤差 (ε21 ) .. . 体験学習群 1 番さんの得点 (8) = 体験学習群の母平均 (µ2 ) + 誤差 (ε12 ) .. . 討議学習群 1 番さんの得点 (7) = 討議学習群の母平均 (µ3 ) + 誤差 (ε13 ) .. . もっと簡潔に表現してみよう。水準 j(j = {1, 2, 3}) の母平均を µj とすると,水準 j の i 番目の測 定値 Xij は Xij = µj + εij とあらわすことができる。 さて,各水準の母平均 µ1 , µ2 , µ3 の平均を µ とあらわすことにし,µ1 = µ + τ1 , µ2 = µ + τ2 , µ3 = µ + τ3 とする。ここで µ は,すべての得点の母平均,つまり,学習形態によるちがいを除去 した得点の母平均をあらわしている。また τ1 , τ2 , τ3 は,3 種類の学習形態が持っている,得点への (プラスないしマイナスの) 効果をあらわしている。すると,上の式は次のように書き直すことがで きる。 全体の母平均を µ, 水準 j の効果を τj とする。水準 j の i 番目の測定値 Xij は Xij = µ + τj + εij この数式を,分散分析の構造モデルという。 16 6 6 分散分析の前提 分散分析の前提 さて,分散分析では, 誤差 εij が平均 0 の正規分布に従い,その分散は等しい,と仮定する。 いいかえれば, • {x11 , x21 , · · · , xn1 } は,平均 µ + τ1 の正規分布に従う • {x12 , x22 , · · · , xn2 } は,平均 µ + τ2 の正規分布に従う • {x13 , x23 , · · · , xn3 } は,平均 µ + τ3 の正規分布に従う • この 3 つの正規分布の分散は等しい と仮定する。 この仮定は,データの性質としては • 各水準の内側でのデータの分布が,正規分布に近いこと (正規性) • 各水準の内側でのデータの分散が,だいたい同じであること (等分散性) に対応する。 例題 1 のデータについてみると • 3 枚のヒストグラムは,どれもおおまかにいって,左右対称な山形であり, • 3 群の標準偏差は 1.35, 2.29, 1.14 であり,あまり大きな差はない。 したがって,誤差についての仮定には無理がなさそうだ。 17 7 分散分析の発想 ■分散の分析とは? さて,いま知りたいのは,ガソリンによって燃費に差があるかどうかである。 仮説検定の枠組みに従えば,帰無仮説 H0 : τ1 = τ2 = τ3 を棄却できるかどうか,を検討すること になる。 この問題について検討するためには,τ1 , τ2 , τ3 のそれぞれについて推定値を求め,その差を調べ ればいいのではないか? . . . という方向に話を進めないのが,分散分析の面白いところである。分散 分析では,τ1 , τ2 , τ3 そのものについての推定をおこなうのではなくて,この 3 つの効果の分散を推 定しようとする。これが「分散分析」という名前の由来である。 ここで,構造モデルの各項の分散について,呼び名と表記を決めておこう。 • Xij の分散,すなわち母集団全体の分散 (全分散) を,σT2 otal と表記する。 2 • τj の分散 (つまり {τ1 , τ2 , τ3 } の分散) を,要因分散と呼ぶ。σA と表記する∗1 。 2 • ²ij の分散を,誤差分散と呼ぶ。σError と表記する。 測定値 Xij ↓ 全平均 = µ 要因の効果 + τj ↓ 誤差 + ²ij ↓ 全分散 要因分散 誤差分散 σT2 otal 2 σA 2 σError さて, 2 • もし学習形態によって得点に差がないならば,τ1 = τ2 = τ3 = 0 なので,σA = 0 である。 2 • もし学習形態によって得点に差があるならば,τ1 , τ2 , τ3 がなんであれ,σA 6= 0 である。 2 だから,τ1 , τ2 , τ3 についての推定をおこなわなくても, 要因分散 σA が 0 かどうかを判断すれば, 用が足りるのである。 ■要因分散についての検討とは? 2 ところが,σA の大きさについての検討は,一筋縄ではいかない。 まず,構造モデルの各項について,標本から推定する方法を考えてみると • 全平均 µ の推定量は Ḡ ∗1 2 2 後藤ほか (編) では σT reat と表記している。なお,σA = P n τj と定義しておく。 3−1 18 7 分散分析の発想 • 各水準の効果 τj の推定量は (T̄j − Ḡ) • 誤差 εij の推定量は (xij − T̄j ) 以上の推定量を用いて,手元のデータに構造モデルをあてはめると xij = Ḡ + (T̄j − Ḡ) + (xij − T̄j ) となる。 母集団 Xij = µ + 標本 xij = ⇑ 推定 Ḡ + τj + ⇑ 推定 (T̄j − Ḡ) + ²ij ⇑ 推定 (xij − T̄j ) ところで, (a) 測定値 xij の平均平方 (平方和を自由度で割ったもの) は,全分散 σT2 otal の不偏推定量とな る (3 章参照)。 ならば, 2 (b) (T̄j − Ḡ) の平均平方は,要因分散 σA の不偏推定量となるのではないか? 2 の不偏推定量になるのではないか? (c) (xij − T̄j ) の平均平方は,誤差分散 σError 母集団 標本 Xij = µ+ τj +8 ↓ ↓ 2 σT2 otal σA ⇑ 推定 (a) ⇑ 推定?(b) M ST otal M SA ↑ ↑ xij = Ḡ+ (T̄j − Ḡ) + εij ↓ 2 σError ⇑ 推定?(c) M SError ↑ (xij − T̄j ) 先に結論を紹介しておくと,(c) は正しいが,(b) は正しくない。しかし,この発想じたいは優れ ているので,このまま話を先に進めてみよう。 19 8 平方和の分解 まず,各項の平方和を求めてみよう。 n 3 X X (xij − Ḡ)2 全体の平方和 SST otal = j=1 i=1 要因の平方和 SSA = 3 X n X 3 X {(T̄j − Ḡ) − 0} = n (T̄j − Ḡ)2 2 j=1 i=1 誤差の平方和 SSError = j=1 3 X n X 2 {(xij − T̄j ) − 0} = j=1 i=1 3 X n X (xij − T̄j )2 j=1 i=1 ここで, SST otal = SSA + SSError という関係が成り立っている (コラム参照)。つまり,ここでおこなっているのは,測定値の平方和 を分解する作業なのである。 例題 1 の場合。わかりやすいように,全平均 Ḡ を左辺に移項している。 (得点 − 全平均) (xij − Ḡ) (5 − 6.1) (4 − 6.1) .. . (8 − 6.1) (4 − 6.1) .. . (7 − 6.1) (6 − 6.1) .. . ⇓ = = = = = = = (水準の平均 − 全平均) (T̄j − Ḡ) (4.7 − 6.1) (4.7 − 6.1) .. . (5.6 − 6.1) (5.6 − 6.1) .. . (8.1 − 6.1) (8.1 − 6.1) .. . ⇓ + + + + + + + (得点 − 水準の平均) (xij − T̄j ) (5 − 4.7) (4 − 4.7) .. . (8 − 5.6) (4 − 5.6) .. . (7 − 8.1) (6 − 8.1) .. . ⇓ 二乗して合計 二乗して合計 二乗して合計 SST otal = 145.47 SSA = 62.07 SSError = 83.4 ここで行ったのは,得点のばらつき 145.47 を,学習形態に由来するばらつき 62.07 と,それ以外 のばらつき 83.4 とに分解する作業であった,ということができる。 20 8 平方和の分解 コラム: なぜ平方和は分解できるのか 構造モデル xij = Ḡ + (T̄j − Ḡ) + (xij − T̄i ) の Ḡ を左辺に移項して xij − Ḡ = (T̄j − Ḡ) + (xij − T̄i ) 両辺を 2 乗して (xij − Ḡ)2 = (T̄j − Ḡ)2 + (xij − T̄i )2 + 2(T̄j − Ḡ)(xij − T̄i ) 合計して XX j X (xij − Ḡ)2 = i n(T̄j − Ḡ)2 + XX j j XX (xij − T̄j )2 + i j 2(T̄j − Ḡ)(xij − T̄j ) i 第三項は XX j 2(T̄j − Ḡ)(xij − T̄i ) = 2 i X {(T̄j − Ḡ) X j =2 X (xij − T̄i )} i {(T̄j − Ḡ) × 0} j =0 従って, XX j i (xij − Ḡ)2 = X n(T̄j − Ḡ)2 + j XX j (xij − T̄j )2 i SST otal = SSA + SSError であることがわかる。 なお,構造モデルがもっと複雑なものになっても,上記と同じように,全体の平方和を各項 の平方和の和に分解することができる。 21 9 平均平方の算出 次に,それぞれの平方和が持つ自由度について考えておこう。自由度とは,自由に動くことがで きる値の数なので (3 章参照), • 全体の平方和 SST otal の自由度 =(値の個数 −1) = 3n − 1 • 要因の平方和 SSA の自由度 =(T̄j の個数 −1) = 3 − 1 • 誤差の平方和 SSError の自由度 = 水準数× (水準内の値の個数-1) = 3(n − 1) となる。ここで (3n − 1) = (3 − 1) + 3(n − 1) であり,自由度もまた,平方和と同じように分解されている。 それでは,各項の平均平方 (平方和を自由度で割った値) を求めよう。 全体の平均平方 M ST otal = SST otal /(3n − 1) 要因の平均平方 M SA = SSA /(3 − 1) 誤差の平均平方 M SError = SSError /3(n − 1) 例題 1 の場合: (得点 − 全平均) (xij − Ḡ) ⇓ = (水準の平均 − 全平均) (T̄j − Ḡ) + ⇓ (得点 − 水準の平均) (xij − T̄j ) ⇓ 二乗して合計 二乗して合計 二乗して合計 SST otal = 145.47 ⇓ SSA = 62.07 ⇓ SSError = 83.4 ⇓ 自由度は 自由度は 自由度は 3n − 1 = 29 ⇓ 3−1=2 ⇓ 3(n − 1) = 27 ⇓ わり算して わり算して わり算して M ST otal = 5.02 M SA = 31.03 M SError = 3.08 22 10 平均平方の意義 10 平均平方の意義 ¾ » この章も,少し面倒な内容を含んでいるので,3 通りの説明 (梅,竹,松) を用意しまし た。先に進むほど,突っ込んだ議論になります。すくなくとも,梅コースの内容について は,きちんと理解してください。竹コース・松コースは,読み飛ばしてもかまいません。 ½ 10.1 ¼ 梅コース 2 さて,いま私たちが目指しているのは,要因分散 σA が 0 かどうかの判断である。そのためには, 2 M SA だけを調べていては不十分である。なぜなら,誤差分散 σError が大きいときにも,M SA は 大きくなってしまうからである。 そこで,M SA を M SError で割った量 F = M SA /M SError を調べる。 例題 1 の場合は, F = 31.03/3.08 = 10.04 2 2 F 値は,要因分散 σA が 0 のときに 1 に近くなり,σA が 0 でないとき (すなわち,要因の水準 によって差があるとき) には 1 よりも大きな値になる。 10.2 竹コース 10.2 23 竹コース 以上の内容を,別の角度から説明しよう。 図 1 は,例題 1 のデータを縦に並べ,プロットしたものである。図の上・中・下が,3 種類の 学習形態に対応している。黒丸は測定値を,中央の縦の点線は全平均 Ḡ を,太線は各水準の平均 T̄1 , T̄2 , T̄3 を示している。M ST otal は黒丸のばらつき,M SA は太線のばらつき,M SError は黒丸 から太線までの垂線の長さのばらつきに相当する。 この図をみるだけで,被験者の属する群によって黒丸の位置が異なっていること,したがって要 因の効果がみられることが,直感的にわかるだろう。 では,もしデータが図 2 のようであったらどうだろうか。この図の太線は,図 1 の太線とまった く同じである。しかしこの図の黒丸の布置をみても,要因の効果がみられるとはとても思えない。 なぜなら,測定値のばらつきが大きいからである。たしかに,太線にもばらつきはみられるもの の,それは単に測定値のばらつきのせいではないか,つまり,もうすこし測定値を増やせば,太線 のかたちは簡単に変わってしまうのではないか — という気がするだろう。 このように,要因の効果があるかどうか (σA 6= 0 かどうか) の判断は,誤差 eij のばらつき と 比べて 水準の平均 T̄j のばらつきが大きいかどうか,に基づいておこなわれるべきである。そ 図 1: 例題 1 のデータ 図 2: もしこんなデータなら. . . 24 10 平均平方の意義 こで,「水準の平均のばらつき M SA が,誤差 eij のばらつき M SError の何倍あるか」,つまり F = M SA /M SError を求めるのである。もし要因の効果がなければ,M SA と M SError は同程 度となり,F は 1 に近くなるだろう。もし要因の効果があるのなら,F はもっと大きな値になる だろう。 10.3 松コース ® © 以下の説明は,2 章の松コース (2.3) を読了した人向けに書かれています。 ª 3 章で述べたように,データの平方和を自由度で割ると,母分散の不偏推定量が手にはいる。こ れを期待値という概念を用いてあらわせば, E(M ST otal ) = σT2 otal さて,要因の平均平方 M SA の期待値は 2 2 E(M SA ) = σError + nσA 2 2 2 となる∗2 。つまり,M SA は σA の不偏推定量ではなく,σA と σError の両方を反映する統計量な のである。 いっぽう,誤差の平均平方 M SError の期待値は 2 E(M SError ) = σError 2 であり∗3 ,M SError は誤差分散 σError の不偏推定量である。 さて, 2 • もし要因の効果がないならば (H0 が真ならば),M SA と M SError とは,ともに σError の 不偏推定量だから,近い値になるはずである。 • いっぽう,要因の効果があるならば (H0 が偽ならば),それがどのような効果であれ,M SA は大きくなるはずである。 2 そこで,F = M SA /M SError を検定統計量として,H0 : σA = 0 についての仮説検定をおこなう 2 わけである。(σA の大きさの推定や,τ1 , τ2 , τ3 の推定には,もはや関心が持たれていないことに注 目してほしい。) ∗2 ∗3 高校までの数学で導出できる。お試しあれ。 同上。 25 11 F 検定 それでは,F を検定統計量として,要因の効果の有無についての仮説検定をおこなうことにし よう。 予備知識 5.1 に挙げたように,仮説検定は 4 つの段階からなる。 ■1. 帰無仮説 (H0 ) を設定する 帰無仮説は: 2 H0 : 要因の効果はない (τ1 = τ2 = τ3 = 0, σA = 0) ■2. 検定統計量を定める すでに説明したように,検定統計量としては F を用いる。 ■3. 決められた有意水準のもとでの棄却域を定める さて,誤差の正規性と等分散性という仮定 が成り立っているときに限り (6 章参照),F には以下の性質がある。帰無仮説が真である場合に は,F は「自由度 (要因の自由度, 誤差の自由度) の F 分布」と呼ばれる確率分布に従う。いっぽ う,帰無仮説が偽の場合には,F は大きくなる。 そこで,F 分布の右 α% の範囲を,有意水準 α% の棄却域と定めることにする。 例題 1 では: 自由度 (2, 27) の F 分布を用いる。1% 棄却域は F > 5.49 である。 ■4. 棄却の有無を決定する F 値が棄却域に含まれていた場合は,帰無仮説は棄却される。 例題 1 では: F = 10.04 は棄却域に含まれているので,棄却域は 1% 有意水準で棄却さ れる。従って,学習形態という要因の効果が認められたと判断される。 ここで,F 値の大きさは効果の大きさをあらわしているわけではない,という点に注意してほし い。前章でみたように,F は効果の大きさ (σT2 otal ) をあらわす指標ではない。 26 12 まとめ: 1 要因の分散分析 12 まとめ: 1 要因の分散分析 どのようなデータであれ,分散分析を用いたデータ分析は,6 つの段階からなっている。 1. データの構造についてよく考え,構造モデルを構築する。 2. 誤差の分布についての仮定が,データにあてはまっているかどうか検討する。 3. 平方和を分解し,各項の平均平方を求める。 4. 検討したい要因について,F を求め,帰無仮説の棄却の有無を判断する。 5. それがなにを意味しているのか考えるために,グラフに戻ったり,下位検定に進んだりする。 この解説書では,このうち 1-5 の段階について,いわゆる被験者間 1 要因計画の実験データを例 に挙げて,詳しく検討してきた。 ここまでの内容をまとめておこう。1 要因 (k 水準, 水準間にデータの対応なし) の実験の結果, 測定値 xij を得た。ただし,i は各水準内での測定値の番号 (1 ∼ nk ),j は水準の番号 (1 ∼ k) と する (下表)。 要因 A 水準 A1 水準 A2 x11 x21 x31 .. . x12 x22 x32 .. . xn1 1 T̄1 n1 xn2 2 T̄2 n2 平均 サイズ ··· ··· ··· ··· 水準 Ak ··· ··· ··· ··· x1k x2k x3k .. . xnk k T̄k nk 全平均Ḡ このとき,誤差の正規性と等分散性という仮定の下で,分散分析をおこなうことができる。 分散分析の計算過程は,下のような書式の表にまとめることが多い。これを分散分析表という。 変動因 要因 (A) 1 要因 (水準間にデータの対応なし) の分散分析表 平方和 (SS) 自由度 (df ) 平均平方 (M S) k X SSA nj (T̄j − Ḡ)2 k−1 k −1 j=1 nj k X X 誤差 (Error) (xij − T̄j )2 j=1 i=1 nj k X X 全体 j=1 i=1 (xij − Ḡ)2 k X (nj − 1) j=1 k X F M SA M SError SSError Pk j=1 (nj − 1) nj − 1 j=1 つづく . . . かも
© Copyright 2024 Paperzz