ΘΕΩΡΙΑ ΟΙΚΟΝΟΜΕΤΡΙΑΣ – ΣΥΝΟΠΤΙΚΕΣ ΣΗΜΕΙΩΣΕΙΣ ΑΠΛΟ ΓΡΑΜΜΙΚΟ ΥΠΟΔΕΙΓΜΑ Συντελεστής συσχέτισης (εκτιμητής Pearson): rX ,Y   ( X  X )(Y  Y )  ( X  X )  (Y  Y ) i i 2 i 2  i  xy x y 2 , 2 όπου 1  rX ,Y  1 (ισχυρή θετική γραμμική συσχέτιση όταν → 1, ισχυρή αρνητική γραμμική συσχέτιση όταν →-1, ασυσχέτιστες οι Χ, Υ στο 0). Στα επόμενα αναφερόμαστε με Χ, Υ στην ανεξάρτητη και εξαρτημένη μεταβλητή αντίστοιχα και με x, y στις ποσότητες xi  X i  X , yi  Yi  Y αντίστοιχα. Υποθέσεις απλού γραμμικού υποδείγματος: 1) Yi   0  1 X i  ui , i  1, 2,..., n 2) ui  N (0,  2 ), i  1, 2,..., n δηλαδή: i) ui τ.μ. που ακολουθεί κανονική κατανομή ii) E (ui )  0 iii) V (ui )   2 3) Cov (ui , u j )  0, i  j 4) X i δεν είναι στοχαστική, οι τιμές της παραμένουν σταθερές σε επαναλαμβανόμενα δείγματα και δεν είναι όλες ίσες μεταξύ τους Ελάχιστα τετράγωνα (OLS): Ελαχιστοποίηση n n  uˆ   (Y  ˆ  ˆ ) i 1 2 i i 1 i 0 1 2 i Κανονικές εξισώσεις (προκύπτουν από συνθήκες 1ης τάξης) : n n i 1 i 1  Yi  nˆ0  ˆ1  i , n n n i 1 i 1 i 1  iYi  ˆ0  i  ˆ1  i2 Εκτιμητές Ε.Τ. : -1- xy ˆ1   2 x εναλλακτικά Y X  NXY ˆ1   i 2i  X i  NX 2 (ερμηνεία: μεταβολή στην αναμενόμενη τιμή της Υ όταν η Χ μεταβάλλεται κατά μία μονάδα) ˆ0  Y  ˆ1 X (ερμηνεία: αναμενόμενη τιμή της Υ όταν Χ=0) Ιδιότητες ευθείας Ε.Τ. 1. Η ευθεία Ε.Τ. διέρχεται από το σημείο των μέσων ( X , Y )  Y   Yˆ 3.  uˆ  0 4.  X uˆ  0 2. i i i i i 5.  Yˆuˆ  0 i i Ελαστικότητα: Y , X  dYˆ/ Yˆ dYˆ X X στο γραμμικό μοντέλο  Y , X  ˆ  1 dX / X dX Yˆ Yˆ Ερμηνεία: Η ποσοστιαία μεταβολή στην αναμενόμενη τιμή της Υ όταν η Χ μεταβάλλεται κατά 1%. Η ελαστικότητα διαφέρει από σημείο σε σημείο. Συνηθίζεται να ζητείται στο σημείο των μέσων. Αν  Y , X  1 ανελαστική σχέση , ελαστική αν  Y , X  1 . Συντελεστής Προσδιορισμού: Βασική ιδιότητα  (Y  Y )   (Y  Yˆ)   (Yˆ Y ) ή  y   uˆ   yˆ ή TSS  ESS  RSS  yˆ ή  uˆ το ποσοστό της μεταβλητότητας της Υ που Τότε R  R  1 y y 2 2 i i 2 2 i 2 2 2 2 i 2 2 2 2 ερμηνεύεται από την ευθεία της παλινδρόμησης. R 2  1 τότε η ευθεία προσαρμόζεται καλά στα δεδομένα R 2  0 τότε η ευθεία δε προσαρμόζεται καλά στα δεδομένα (μπορεί να έχουν παραλειφθεί ερμηνευτικές μεταβλητές…) 2 Στο απλό γραμμικό μοντέλο R 2  rˆ X ,Y -2- Διαστήματα Εμπιστοσύνης: Πρέπει να ισχύει η υπόθεση 2 του απλού γραμ. υποδείγματος για τα κατάλοιπα  uˆ 2 Η διακύμανση του ui ,  2 εκτιμάται από τη ποσότητα ˆ2  S 2  1 το τυπικό σφάλμα του 1  x2  (1-α)% Δ.Ε. του 1 : ˆ S ˆ  S 2 1  tn  2, a 2 S ˆ όπου  (1-α)% Δ.Ε. του  0 : ˆ0  tn  2,a 2 S ˆ όπου S ˆ  S 2 1 1 0 0 n2 X n x 2 2 το τυπικό σφάλμα του  0 Έλεγχος υποθέσεων – t Έλεγχος: H 0 :  j  c , j=0,1 Ελεγχοσυνάρτηση: tˆ  j ˆj  c S ˆ  tn  2 j Με εναλλακτική υπόθεση,  H a :  j  c ο έλεγχος είναι αμφίπλευρος και η H 0 απορρίπτεται σε επ.σημ. α αν t ˆ  tn  2,a 2 j  H a :  j  c ο έλεγχος είναι μονόπλευρος και η H 0 απορρίπτεται σε επ.σημ. α αν tˆ  tn  2,a j  H a :  j  c ο έλεγχος είναι μονόπλευρος και η H 0 απορρίπτεται σε επ.σημ. α αν tˆ  tn  2,a j Ειδικότερα, ελέγχουμε τη σημαντικότητα του συντελεστή 1 με τον έλεγχο H 0 : 1  0 Ερμηνεία:  Αν η H 0 απορριφθεί τότε ο 1 είναι στατιστικά σημαντικός, δηλαδή η Χ επηρεάζει σημαντικά τη Υ.  Αν η H 0 δεν απορριφθεί τότε ο 1 δεν είναι στατιστικά σημαντικός και η μεταβλητή Χ δε φαίνεται να επηρεάζει σημαντικά τη Υ. -3- Έλεγχος υποθέσεων – F Έλεγχος: Παρουσιάζεται συνήθως με τη βοήθεια ενός πίνακα ANOVA: Πηγή Άθροισμα Βαθμοί Μέσο Άθροισμα μεταβλητότητας Τετραγώνων Ελευθερίας Τετραγώνων Παλινδρόμηση  yˆ 1 RSS/1 Κατάλοιπα  uˆ (ESS) n-2 ESS/(n-2) Σύνολο y n-1 TSS/(n-1) 2 (RSS) 2 2 (TSS) F  yˆ /1 2 F  uˆ / (n  2) 2 Έλεγχος σημαντικότητας της απλής παλινδρόμησης:  yˆ /1 2 H 0 : 1  0 F R2 με εναλλακτική 1 1  R  H a : 1  0 , η ελεγχοσυνάρτηση F  uˆ / (n  2) 2 ή συκρίνεται με τη τιμή της κατανομής F , F1,n  2,a . 2 n2 Η H 0 απορρίπτεται αν F  F1,n  2,a . (Ισοδύναμος με το δίπλευρο έλεγχο σημαντικότητας του 1 μόνο στην απλή παλινδρόμηση) Πρόβλεψη: ˆ ˆ Για δεδομένο X 0 έχω τη πρόβλεψη σε σημείο Yˆ 0   0  1 X 0  (1-α)% διάστημα εμπιστοσύνης του Y | X0 : Yˆ 0  t n  2, a / 2 S 0 όπου  1 ( X  X )2  S0  S 2   0 2  1 το τυπικό σφάλμα της πρόβλεψης. n  x   t- Έλεγχοι για την υπόθεση H 0 : Y0 | X 0   c κατά τα γνωστά με την ελεγχοσυνάρτηση t Yˆ 0 c  tn  2 . S0  (1-α)% διάστημα εμπιστοσύνης για τη μέση πρόβλεψη E (Y0 | X 0 ) : Yˆ 0  t n  2, a / 2 SYˆ όπου 0  1 ( X  X )2  SYˆ  S 2   0 2  το τυπικό σφάλμα της μέσης πρόβλεψης n 0  x   -4- ΠΟΛΥΜΕΤΑΒΛΗΤΟ ΓΡΑΜΜΙΚΟ ΥΠΟΔΕΙΓΜΑ Υποθέσεις Πολυμεταβλητής Γραμμικής Παλινδρόμησης: Η Υ εξαρτάται από κ ερμηνευτικές μεταβλητές 1) Yi   0  1 X i1   2 X i 2  ...   k X ik  ui , i  1, 2,..., n 2) ui  (0,  2 ), i  1, 2,..., n δηλαδή: i) ui τυχαία μεταβλητή ii) E (ui )  0 iii) V (ui )   2 3) Cov (ui , u j )  0, i  j 4) X i δεν είναι στοχαστική 5) Δεν υπάρχουν ακριβείς γραμμικές σχέσεις ανάμεσα στις ερμηνευτικές μεταβλητές X 1 , X 2 ,...., X k 6) Ο αριθμός των παρατηρήσεων του δείγματος είναι μεγαλύτερος από τον αριθμό των άγνωστων συντελεστών δηλαδή n  k  1 Περιγραφή με μήτρες:  Y1  1 X 11 Y  1 X 21  2            Yn  1 X n1 n1 X 12 X 22 X n1 ... X 1k   u1   0   u  ... X 21     2  1  ή               ( k 1)1    un  ... X nn  n( k 1) n1 Υποθέσεις πολλαπλής γραμμικής παλινδρόμησης με μήτρες: 1) Y  XB  U 2) U  (0,  2 I n ) δηλαδή: i) U διάνυσμα τυχαίων μεταβλητών ii) E (U )  0 iii) Var (U )   2 I n 3) Cov (ui , u j )  0, i  j -5- Y  XB  U 4) Η μήτρα των ανεξάρτητων μεταβλητών, Χ περιλαμβάνει μη στοχαστικές μεταβλητές και παραμένει σταθερή σε επαναλαμβανόμενα δείγματα 5+6) Ο βαθμός rank της μήτρας Χ είναι k  1  n Ελάχιστα Τετράγωνα στη Πολυμεταβλητή Παλινδρόμηση: Ελαχιστοποίηση n  uˆ  Uˆ'Uˆ ...  Y Y  2 Bˆ' X 'Y  Bˆ' X ' XBˆ i 1 2 i Από συνθήκες 1ης τάξης οδηγούμαστε σε k+1 κανονικές εξισώσεις : X X  B  X Y Εκτιμητής Ε.Τ. : B   X X  X Y 1 Ερμηνεία ˆj : μεταβολή στην αναμενόμενη τιμή της Υ όταν η Χj μεταβάλλεται κατά μία μονάδα, ενώ οι άλλες ερμηνευτικές μεταβλητές παραμένουν σταθερές (ceteris paribus) Ελαστικότητες (Μερικές) : Y , X j  X Yˆ/ Yˆ Yˆ X j    j j , j  1, 2,..., k X j / X j X j Yˆ Yˆ Ερμηνεία: Η ποσοστιαία μεταβολή στην αναμενόμενη τιμή της Υ όταν η Χj μεταβάλλεται κατά 1%, ενώ οι άλλες ερμηνευτικές μεταβλητές παραμένουν σταθερές. (Αν  Y , X j  1 ανελαστική σχέση Υ με Χj όταν X i , i  j σταθερές, ελαστική αν  Y , X  1 ) Συντελεστής Προσδιορισμού: Η βασική ιδιότητα TSS  RSS  ESS ισχύει και στο πολυμεταβλητό γραμ. μοντέλο. Ομόίως R 2  yˆ  1   uˆ  y y 2 2 2 2 το ποσοστό της μεταβλητότητας της Υ που ερμηνεύεται από την ευθεία της παλινδρόμησης και 0  R 2  1 με R 2  1 καλή προσαρμογή. Όσο αυξάνουμε το πλήθος των ερμηνευτικών μεταβλητών στο υπόδειγμα αυξάνεται και ο συντελεστής προσδιορισμού χωρίς απαραίτητα να σημαίνει καλύτερη προσαρμογή (αφού όσο περισσότερες οι ερμηνευτικές μεταβλητές τόσο αυξάνονται οι μεταξύ τους γραμμικές συσχετίσεις → φαινόμενο πολυσυγγραμμικότητας). -6- Χρησιμοποιούμε τον διορθωμένο R 2 , R 2 ή R 2 adj όπου  uˆ / (n  k  1)  1  (1  R  y / (n  1) 2 R2  1 2 2 ) n 1 n  k 1 (Χρησιμοποιείται για τη σύγκριση δύο μοντέλων με διαφορετικό αριθμό ερμηνευτικών μεταβλητών, διαφορετικό μέγεθος δείγματος) Διαστήματα Εμπιστοσύνης: Υπό την ισχυρότερη υπόθεση U  N (0,  2 I n )  uˆ 2 Η διακύμανση του ui ,  εκτιμάται από τη ποσότητα ˆ  S  2 2 2 n  (k  1) Ισχύει,  S 2ˆ Cov( ˆ0 , ˆ 1) 0   Cov( ˆ, ˆ) S 2ˆ 1 0 2 1 ˆ ˆ ˆ 1  Var ( B)  S ( X ' X )      Cov( ˆk , ˆ0 ) Cov( ˆk , ˆ 1) ... Cov( ˆ0 , ˆk )   ˆ)  ... Cov( ˆ ,  1 k      ... S 2ˆ   δηλαδή το j-διαγώνιο στοιχείο του Sˆ2 ( X ' X ) 1 αντιστοιχεί στη διακύμανση του (ξεκινώντας από j=0). Συνεπώς, (1-α)% Δ.Ε. του  j : ˆj  tn  k 1,a 2 S ˆ j Έλεγχος υποθέσεων – t Έλεγχος: H 0 :  j  c , j=0,1,…,k Ελεγχοσυνάρτηση: tˆ  j ˆj  c S ˆ  tn  k 1 j Με εναλλακτική υπόθεση,  H a :  j  c (αμφίπλευρος έλεγχος) η H 0 απορρίπτεται σε επ.σημ. α αν t ˆ  tn  k 1,a 2  H a :  j  c (μονόπλευρος έλεγχος) η H 0 απορρίπτεται σε επ.σημ. α αν tˆ  tn  k 1,a  H a :  j  c (μονόπλευρος έλεγχος) η H 0 απορρίπτεται σε επ.σημ. α αν tˆ  tn  k 1,a j j j -7- j Ειδικότερα αν H 0 :  j  0 τότε,  Αν η H 0 απορριφθεί τότε ο  j είναι στατιστικά σημαντικός, δηλαδή η Χj επηρεάζει σημαντικά τη Υ.  Αν η H 0 δεν απορριφθεί τότε ο  j δεν είναι στατιστικά σημαντικός και η μεταβλητή Χj δε φαίνεται να επηρεάζει σημαντικά τη Υ (ίσως χρειαστεί να αφαιρεθεί από το υπόδειγμα εφόσον δεν υπάρχει άλλη ένδειξη παραμονής της στο μοντέλο). Έλεγχος υποθέσεων – F Έλεγχος: Πίνακας ANOVA: Πηγή Άθροισμα Βαθμοί Μέσο Άθροισμα μεταβλητότητας Τετραγώνων Ελευθερίας Τετραγώνων Παλινδρόμηση  yˆ κ RSS/(κ-1) Κατάλοιπα  uˆ (ESS) n-κ-1 ESS/(n-κ-1) Σύνολο y n-1 TSS/(n-1) 2 (RSS) 2 2 (TSS) F  yˆ / k 2 F  uˆ / (n  k  1) 2 Έλεγχος σημαντικότητας της παλινδρόμησης: H 0 : 1   2  ...   k  0 με εναλλακτική H a : 1  0, ή  2  0, ή... k  0 ,  yˆ / k R2 2 η ελεγχοσυνάρτηση F   uˆ / (n  k  1) 2 ή F 1  R  k 2 συγκρίνεται με τη τιμή της n  k 1 κατανομής F , Fk ,n  k 1,a . Η H 0 απορρίπτεται αν F  Fk ,n  k 1,a . (Αν απορριφθεί η παλινδρόμηση είναι σημαντική) Έλεγχος γραμμικών περιορισμών – t-Έλεγχος (για έναν περιορισμό): H 0 : a11   2  2   , j=0,1,…,k Ελεγχοσυνάρτηση: t  ˆ a1ˆ 1   2 2   S( a ˆ ˆ ) 1 1  tn  k 1 2 2 -8- όπου 2 ˆ ˆ ˆ ˆ ˆ S( a ˆ ˆ )  12Vˆ( ˆ 1 )  1 V ( 1 )  21 2 Cov ( 1 ,  2 ) 1 1 (τα παίρνω από το πίνακα 2 2 Sˆ2 ( X ' X ) 1 ) Κατά τα γνωστά αν, H a : a11   2  2   : η H 0 απορρίπτεται σε επίπεδο σημαντικότητας α αν t ˆ  tn  k 1,a 2 j H a : a11   2  2   : η H 0 απορρίπτεται σε επ.σημ. α αν tˆ  tn  k 1,a j H a : a11   2  2   : η H 0 απορρίπτεται σε επ.σημ. α αν tˆ  tn  k 1,a j Γενικευμένος F- Έλεγχος (για έναν ή σύστημα περιορισμών): H 0 : RB  r , H a : RB  r 1 ( RBˆ r ) '  R( X ' X ) 1 R ' ( RBˆ r ) Η ελεγχοσυνάρτηση είναι F  U 'U g , g το πλήθος των n  k 1 περιορισμών (αριθμός γραμμών r) συγκρίνεται με τη τιμή της κατανομής F , Fg , n  k 1 . Η H 0 απορρίπτεται αν F  Fg , n  k 1, a . F- Έλεγχος (μέσω περιορισμένου υποδείγματος): H 0 : RB  r , H a : RB  r ( ESS R  ESSU ) Η ελεγχοσυνάρτηση είναι F  ESSU g  n  k  1  Fg ,n  k 1 όπου g το πλήθος των περιορισμών (αριθμός γραμμών r) ESSU το άθροισμα τετραγώνων των καταλοίπων του αρχικού (unrestricted) υποδείγματος ESS R το άθροισμα τετραγώνων των καταλοίπων του περιορισμένου (restricted) υποδείγματος (επιβάλλουμε τη μηδενική υπόθεση στο αρχικό και υπολογίζουμε το ΕSS στο υπόδειγμα που προκύπτει). Η H 0 απορρίπτεται αν F  Fg , n  k 1, a . -9- Πρόβλεψη: ' ˆ Για δεδομένο X F λαμβάνω Yˆ F  XFB  (1-α)% διάστημα εμπιστοσύνης πρόβλεψης του Y | X F : Yˆ F  t n  k 1, a /2 S F όπου S F  S 2  X F' ( X ' X ) 1 X F  1 το τυπικό σφάλμα της πρόβλεψης. t- Έλεγχοι για την υπόθεση H 0 : YF | X F   c κατά τα γνωστά με την ελεγχοσυνάρτηση t Yˆ F c  tn  k 1 . SF  (1-α)% διάστημα εμπιστοσύνης για τη μέση πρόβλεψη E (Y | X F ) : Yˆ F  t n  k 1, a /2 S F όπου S F  S 2  X F' ( X ' X ) 1 X F  το τυπικό σφάλμα της μέσης πρόβλεψης ΜΗ ΓΡΑΜΜΙΚΑ ΥΠΟΔΕΙΓΜΑΤΑ – ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΙ Πολυωνυμικό : Y   0  1 X   2 X 2  ...   k X k  u Μετασχηματίζεται σε γραμμικό θέτοντας X 1  X , X 2  X 2 ,..., X k  X k Αντίστροφο: Y   0  1 1 u X Μετασχηματίζεται σε γραμμικό θέτοντας X *  1 X Εκθετικό: Y  e 0  1 X u  ln Y   0  1 X  u και θέτουμε Y *  ln Y Ερμηνεία  j : όταν η X j μεταβάλλεται κατά 1% η Υ μεταβάλλεται κατά 100  j % (ceteris paribus) ( Y ,X j  dYˆ/ Yˆ dYˆ X X   1e 0  1 X  1 X , ή dX j / X j dX j Yˆ Yˆ - 10 - Y ,X j  d ln Y d ln Y  X  1 X ) dX / X dX Λογαριθμικό: Y   0 X 11 X 2 2  X k k  ln Y  ln  0  1 ln X 1  ...   k ln X k  u και ορίζουμε Y *  ln Y , X1* = ln X 1 ,...., X k * = ln X k και  0* = ln  0 Στο λογαριθμικό υπόδειγμα οι συντελεστές ταυτίζονται με τις ελαστικότητες των αρχικών μεταβλητών, επομένως: Ερμηνεία  j : όταν η X j μεταβάλλεται κατά 1% η Υ μεταβάλλεται κατά  j % (ceteris paribus) (Απλό γραμμικό μοντέλο Y   0 X 1 τότε, Y ,X j  0 X 1 dYˆ/ Yˆ dYˆ X 1 1 X     0 1 X  1  1 ) dX j / X j dX j Yˆ Yˆ Yˆ ΕΚΤΙΜΗΤΙΚΗ Σφάλμα δειγματοληψίας του εκτιμητή ˆ: ˆ  Στην απλή παλινδρόμηση, ˆ 1  x y x i i 2 i  ...   xY x i i 2 i  ...  1  xu x i i 2 i όπου xu x i i 2 i το σφάλμα της δειγματοληψίας που είναι ίσο με 0 στη περίπτωση του αμερόληπτου εκτιμητή. Υπάρχουν άπειροι εκτιμητές για μια παράμετρο θ, επιλέγουμε τον εκτιμητή που ικανοποιεί κάποιες επιθυμητές ιδιότητες. Ιδιότητες μικρών δειγμάτων:  Αμεροληψία : E (ˆ)   (η προσδοκώμενη τιμή να ισούται με τη παράμετρο)  Αποτελεσματικότητα : δηλαδή αμεροληψία και ελάχιστη διασπορά. Ειδικότερα ένας εκτιμητής καλείται άριστος γραμμικός αμερόληπτος εκτιμητής (BLUE), αν n (i) είναι γραμμικός ( ˆ  ci X i δηλαδή γραμμική συνάρτηση των παρατηρήσεων) i 1 (ii) είναι αμερόληπτος (iii) Var (ˆ)  Var ( * ) όπου  * οποιοσδήποτε άλλος γραμμικός αμερόληπτος εκτιμητής - 11 - Ασυμπτωτικές ιδιότητες: Ο εκτιμητής ˆ καλείται συνεπής εκτιμητής της παραμέτρου θ αν η κατανομή του συγκεντρώνεται στην αληθινή τιμή της παραμέτρου όταν το μέγεθος του δείγματος τείνει στο άπειρο: P lim ˆ  . Ο εκτιμητής OLS υπό τις υποθέσεις της παλινδρόμησης είναι γραμμικός, αμερόληπτος, αποτελεσματικός (BLUE) και συνεπής. Ετεροσκεδαστικότητα: Παραβιάζεται η υπόθεση σταθερής διακύμανσης των καταλοίπων Var (ui )   2 Συνέπειες ετεροσκεδαστικότητας:  Οι εκτιμητές Ε.Τ. ˆj δεν είναι πλέον αποτελεσματικοί (δεν είναι ελαχίστης διασποράς)  Οι εκτιμητές των διακυμάνσεων των ˆj , S 2ˆ δεν είναι αμερόληπτοι j - 12 -