2014/5/13 3.4.2 残差による回帰 (Residual Regression) S5_1 計量経済学 回帰結果 (RR-1) Y = Xb + e = X1b1 + X2b2 + e, b • 残差回帰(回帰係数の部分ベクトル) 別名:FWL(Frisch,Waugh,Lovell)定理 b = 1 , X =[X1 | X2] b 2 • チェック:2変数回帰 • 応用例:分散の分解と決定係数 • 自由度修正済み決定係数 X1:(nxk1), X2: (nxk2) b1: (k1x1), b2: (k2x1) 注意:X’e = k1+k2 = k X1 ' X1 ' e 0 X ' e X ' e 0 2 2 1 残差回帰 2 b2を以下の3ステップで求める。 ~ X1へ回帰し残差を作るオペレータ ステップ1:YをX1に回帰し残差ベクトル Y を求める。 (この回帰はYのX1への補助回帰と呼ばれる。) ステップ2:X2をX1に(補助)回帰し残差行列 X 2 を求める。 ~ ステップ3:ステップ1のYの残差 Y を (RR-2) M1 = I X1(X1'X1)-1X1' X2とYの補助回帰からの残差行列と ベクトルを(~)を付けて表す。 ステップ2のX2の残差 X 2 に回帰。 FWL定理 (RR-3) (FWL-1) ステップ3の係数ベクトルはb2、 ~ ~ X 2 = M1X2, Y = M1Y (FWL-2) ステップ3の残差はeと同じ 3 4 1 2014/5/13 (RR-4) ~ X 2 とeに注目 ~ Y = M1(X1b1 + X2b2 + e) (RR-6) ' e X 2 = M1X1b1 + M1X2b2 + M1e = X2'e = M 1X 2b 2 + e =0 ~ X 2 と e とは直交 ~ ~ ⇒ b2 は Y を X 2 に回帰した時の「正規方程式」の解 (最後の等号はM1X1= 0, M1e = e より成立) M1e = (IX1(X1’X1)-1X1’)e = e 0 (RR-5) ~ Y = (M1X2)'e = X2'M1e ⇒ 回帰係数の部分ベクトル b2 は残差回帰で得られ る。 (FWL-1)証明了! ~ ~ = X 2 b2 + e ~ e: Y を X 2 に回帰した時の残差 かつ、Y を X に回帰した残差。 (FWL-2)も成立する! 5 6 残差回帰の例、二変数回帰モデル b2はYの一次結合 (RR-7) 定数項をX1(和ベクトル)、ベクトルxをX2として残差回帰 ~ ' ~ 1 ~ ' ~ b2 = [ X 2 X 2 ] X 2 Y 1 x1 : x 2 X 1 x X1 : : 1 xn = ~ ~ [X'2 X 2 ]1 ( M1X 2 )' M1Y = ~ ~ [X'2 X 2 ]1 X 2 ' M1 ' M1Y (RR-8) ~ ~ [X'2 X 2 ]1 X 2 ' M1Y x : (nx1) ベクトル = X2 M1 = I - 1(1'1)-11' = I - 1(n-1)1' = I - (11')/n M1:ベクトルを平均から測るオペレータ x1 1 x1 x x 1 x x 2 M1x = (I – (11’)/n)x = x – 1(1’x)/n = x – 1 x = x 2 : : : xn 1 xn x ~ ' ~ 1 ~ = [X 2 X 2 ] X 2 ' Y 7 8 2 2014/5/13 ~ ~ 残差ベクトル Y, X 2 3.4.3 分散の分解と決定係数 X1 X Y1 Y Y2 Y , X X2 X Y 2 : : Yn Y X n X ~ ~ ~ K変数回帰で定数項(切片)が含まれているケース Yi = b1 + Xi2b2+Xi3b3 + .. + Xikbk + ei, i = 1,..,n X = [X1|X2] = [1|X2] (定数項(1)をX1、その他全ての説明変数をX2) ~ = ( X 2 ' X 2 )-1 X 2 ' Y b2 (3-4-1) = i(Xi X )(Yi Y )/i(Xi X )2 ~ b2 + e Y = Y 1 Y = ( Yˆ -1 Y ) + e = X 2 はY, X2の標本平均からの偏差 ,X Y 2 2 変数回帰の係数 b と一致。 e ˆ -1 Y ) e, X (Y 2 9 10 総変動(TSS)を 'Y を二つに分解 Yの総変動(TSS)= i(Yi Y ) = Y 2 (3-4-2) 説明された変動 i(Yi - Y )2 + 'Y =Y = 'X b = ( Y 1 Y)’( Y 1 Y)) (ESS = b 2 ' X 2 2 2 残差変動 (RSS = e'e) に分解 K変数回帰の決定係数 'X b b2’ + e’e b2 ' X 2 2 2 (3-4-3) R2 = 1 - RSS/TSS = ESS/TSS ˆ -1 Y )’( Y ˆ -1 Y ) + e’e = (Y 11 12 3 2014/5/13 2 自由度修正済み決定係数 ( R ) 0 R2 1 R2=1なら 説明変数の追加により残差二乗和は必ず減少。 RSSはゼロ(残差ベクトルeはゼロ) 決定係数を「改善」したいならkを増やせばよい。 YはXで完全に説明される R2=ゼロ TSS = RSS kの増加による決定係数の上昇を は常に一定で Y Y i 「割り引いた」あてはまりの尺度 定数項以外の回帰係数b2は全てゼロ (3-4-4) YはXの線形関数で全く説明できない R2 1 RSS (n-1) (n-1) 1 (1 R 2 ) TSS (n-k) (n-k) R2の平方根は重相関係数と呼ばれる。 の相関係数の二乗と一致。 R2はYと Y 13 14 R2 2 ・ R はkが2以上の時には必ずR2より小さくなる。 ・RSSが同じならkの増加とともに小さくなる。 ・R2が小さい時はマイナスになる場合もある。 ・R2, R 2 はあてはまりを測る尺度として便利だが これらの値を基準にモデルを選択すべきという 理論的根拠は特にない。 15 4
© Copyright 2024 Paperzz