数理統計学 II (数理統計の基礎 II) 4 回目 — 回帰分析・最小二乗法 — 安部公輔 1 / 23 内容 目標 回帰分析の目的や基本的概念に触れ,代表的な手法である最小二 乗法を学ぶ. Keywords 単回帰分析・説明変数(独立変数) ・目的変数(従属変数) ・予測 値・残差平方和・平方和の分解・決定係数などなど 2 / 23 参考書 ■ 統計(竹村彰通,共立出版) 記号などはこの本を参考にしている部分が多い. 3 / 23 イントロ 何か実験データが与えられたとき,散布図をプロットするついでに, データにフィットする直線を引いて こんなグラフを作成するが,何の意味があるのか? 4 / 23 イントロ ばねに重りを吊るしたときのばねの伸びを測っているとして,横軸 を重りの質量 [g],縦軸をばねの伸び [mm] として考えてみる. グラフから 12g の重りなら 25mm 位と予測できる 直線を引く目的=データに基づく予測 物理定数を推定しているとも言える 5 / 23 イントロ じゃあ,どうやって直線を引くの? 直線の方程式は y = a + bx 「予測の精度」が最善となるようにパラメータ a, b を決定してやる. そのために 予測の誤差を表す関数 Q(a, b) を定義し,それが最小値をとるよ うな a, b を求める. 6 / 23 設定・記号および用語 (x1 , y1 ), (x2 , y2 ), · · · , (xN , yN ) というデータが与えられている. x: 原因となる変数.重りの重さなど.独立変数.説明変数. y: 結果を表す変数.ばねの伸びなど.従属変数.目的変数. 回帰直線: データに最もフィットする直線 y = a + bx. こいつを(何らかの算出基準に基づいて)求めたい. b: 回帰係数, a: 定数項などと呼ぶ. 予測値: y ˆi = a + bxi 説明変数が xi のとき回帰直線から予測される目的変数の値. これをできるだけ正確にしたい. 残差: ei = yi − y ˆi = yi − (a + bxi ) 予測値 y ˆi と実測値 yi との差.つまり予測の誤差. これを平均的に小さくしたい. 7 / 23 図示すると × (xi , yi ) ei y = a + bx × × × × × × (xi , yˆi ) × × こんな感じ 8 / 23 各種計算の前に記号のおさらい 平均:x = N N 1 N xi , y= i=1 N 1 N yi . i=1 xi = N x などの計算はよく使う. i=1 共分散: Sxy = N 1 N (xi − x)(yi − y) i=1 相関係数:標準化した上での共分散 N (xi − x)(yi − y) Sxy rxy = √ = i=1 N Sxx Syy N (x − x)2 (y − y)2 i i=1 i i=1 計算するときのコツ:(xi − x) や (yi − y) はできるだけ崩さない ようにして,上記の記号に置き換えられる部分を見付けていく. 9 / 23 残差平方和 誤差の指標として,残差平方和 Q(a, b) を以下で定義する. Q(a, b) = = N i=1 N e2i = N (yi − yˆi )2 i=1 (yi − (a + bxi ))2 i=1 何故これを指標にするのか? ei は正負両方の値をとり得るので単純和では都合が悪い. N |ei | も候補にはなるが微積などとの相性が良くない. i=1 平方和は数学的に扱い易い. (後日説明するベクトルのノルムと の関連付けが容易. ) 10 / 23 最小点の導出 まず ∂Q ∂a = ∂Q ∂b = 0 となる (a, b) を求める. Q(a, b) = N a2 − 2a N (yi − bxi ) + i=1 N (yi − bxi )2 i=1 だから ∂Q ∂a = 2N a − 2 N (yi − bxi ) = 0 i=1 となるのは a= N 1 N (yi − bxi ) = y − bx i=1 のとき.そこでこの a を Q(a, b) に代入して Q(y − bx, b) を調べる. 11 / 23 最小点の導出 Q(y − bx, b) = N ((yi − y) − b(xi − x))2 i=1 = N (yi − y)2 − 2b N (yi − y)(xi − x) + b2 i=1 i=1 2 = N Sxx b − 2Sxy b + Syy 2 2 Sxy Sxy + Syy − = N Sxx b − Sxx Sxx N (xi − x)2 i=1 平方完成してるだけ Sxy のときだから,結局 これが最小になるのは当然 b = Sxx N 1 Sxy i=1 (xi − x)(yi − y) N b= = , a = y − bx 1 N 2 Sxx i=1 (xi − x) N とすればよい. 12 / 23 まとめると データに最もフィットする直線 y = a + bx を最小二乗法によって 求めた場合,結果は b= Sxy Sxx , a = y − bx となる.ただし x, y は平均, Sxy は Sxy = N 1 N (xi − x)(yi − y) i=1 で定義される共分散である. 13 / 23 相関係数との関係 回帰直線 y = a + bx において x と y の関係に本質的に影響する のは回帰係数 b だから,相関係数と何かしら関係があるはず. 相関係数は rxy Sxy = √ Sxx Syy だったから Sxy Sxy σy Syy b= = √ = rxy · √ Sxx σx Sxx Syy Sxx y のスケール = スケールに依らない関連度 · x のスケール となっている.標準偏差(従って単位の変更など)によって値が変 わることに注意する.与えられたデータそのままの状態で最小二乗 法を適用するのには注意を要する. 14 / 23 決定係数 回帰直線 y = a + bx (の係数)は求まった.では,これでどれく らい説明や予測ができているのか?数値で示したい. ポイント 残差平方和をどれくらい小さくできたかで評価するのが自然. 単位(スケール)依存の問題などがあるのでそこは調整する. 値が 1 なら良くフィットしていて, 0 は駄目,というのが使 い易い. 実測値 y の変化を予測値 yˆ でどこまで表現できているか,と いう視点も盛り込む. =⇒ 分散(標準偏差)を使って評価する. N 決定係数 : R2 = 1 − N 2 e i=1 i 2 (y − y) i i=1 を用いる.何だこれは? 15 / 23 いくつか計算を a, b は最小二乗法で求められているものとする. N ei = i=1 = N i=1 N (yi − yˆi ) = N (yi − (a + bxi )) i=1 N yi − N a − b i=1 xi = N (y − a − bx) = 0 i=1 つまり,最小二乗法で求められた回帰直線を用いた場合,残差の合 計はプラスマイナスゼロ. また,上式は 0= N 1 N yi − i=1 N 1 N yˆi = y − yˆ i=1 を意味するので y = y ˆ が成立. 16 / 23 いくつか計算を N i=1 (xi − x)ei = N (xi − x)(yi − y − b(xi − x)) i=1 = N Sxy − Sxy Sxx · N Sxx = 0 Sxy b= だから Sxx これを線型代数の視点から見ると, x の平均偏差ベクトルと残差ベ クトルが直交していることになる(詳細は後日). 17 / 23 いくつか計算を yˆi − y = a + bxi − y = b(xi − x) だから N N (ˆ yi − y)ei = b (xi − x)ei = 0 i=1 i=1 y = yˆ だったから N (ˆ yi − yˆ)ei = 0 i=1 でもある. これまた,線型代数の視点から見れば,ある種のベクトルの直交関 係として捉えることができる. 18 / 23 平方和の分解 これまでの準備から N N N (yi − y)2 = (ˆ yi − y + yi − yˆi )2 = ((ˆ yi − y) + ei )2 i=1 = = i=1 N N i=1 N i=1 N i=1 i=1 (ˆ yi − y)2 + (ˆ yi − yˆ)2 + e2i ∵ i=1 N (ˆ yi − y)ei = 0 から i=1 e2i これを 全平方和 = 全変動 =回帰平方和+残差平方和 =予測値で説明できる変動 +説明できていない変動(誤差) と解釈して,平方和の分解などという. 19 / 23 決定係数 そこで N N 2 (ˆ y − y ˆ ) e i i=1 i R2 = = i=1 = 1 − N N 2 2 全平方和 (y − y) (y − y) i i i=1 i=1 回帰平方和 2 と定め,決定係数(直線がどれ位フィットしているかの指標)と呼 ぶ.実は今の場合, N i=1 N N (yi − y)(ˆ yi − yˆ) = (ei + yˆi − y)(ˆ yi − yˆ) = (ˆ yi − y)2 i=1 i=1 や yˆi = a + bxi などから R = |rxy | 2 が導かれるので,たまたま R2 = rxy である.0 ≤ R2 ≤ 1 であり, 値が 1 に近いほど良くフィットしている事になる. 20 / 23 最初から標準化しておくと x = y = 0, N 1 N i=1 a = y − bx = 0, N xi ei = 0, i=1 x2i = N N 1 N i=1 b = rxy · yˆi ei = 0, yi2 = 1 σy σx = rxy R2 = 1 − i=1 N 1 N e2i i=1 鬱陶しいものが色々消えて(途中計算も)すっきり.平方和の分解も N = N i=1 yi2 = N i=1 yˆi2 + N e2i i=1 と明解になるし,この形なら「平方和の分解=ピタゴラスの定理」 と言われても驚かないだろう? 21 / 23 え?ピタゴラス? N = 3 の場合で概要を見る.簡単のため x, y は標準化しておく. ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ y1 yˆ1 e1 x1 x = ⎝x2 ⎠ , y = ⎝y2 ⎠ , yˆ = ⎝yˆ2 ⎠ , e = ⎝e2 ⎠ とおく. x3 y3 yˆ3 e3 ˆ = bx, e = y − yˆ などの関係がある. 各ベクトル間には y √ √ 2 2 2 また, |x| = x1 + x2 + x3 = N σx = N だから,標準偏差 はベクトルの大きさに相当するものであり,標準化は単位ベクトル 化に相当すると言える. 3 2 最小二乗法では e = y − y ˆ に対して |e| = i=1 e2i を最小化する. つまり y ˆ = bx の形のベクトルで最も y に近いものを選んでいる. それゆえ y ˆ は y の x 方向への正射影になり,e と x, yˆ が直交する y |2 + |e|2 が成り のは当然.結果としてピタゴラスの定理 |y|2 = |ˆ 立つ. (実は今の場合,決定係数は R2 = |ˆ y |2 になっている. ) 22 / 23 イメージ図 Span[1, x] y e yˆ = a1 + bx Span[1, x] については後日解説. このイメージ図の汎用性の高さを今後見ることになる. 23 / 23
© Copyright 2024 Paperzz